Interaction 3D
En informatique, on désigne par interaction 3D toute forme d'interaction homme-machine où l'utilisateur doit se déplacer, manipuler, naviguer dans l'espace 3D. Il s'agit d'informations sur les processus humains et mécaniques où la position physique des éléments dans l'espace 3D est pertinente.

L'espace 3D utilisé pour l'interaction peut être l'espace physique réel, une représentation simulée par un ordinateur, ou une combinaison des deux. Lorsque l'espace réel est utilisé pour les entrées, les utilisateurs effectuent des actions ou donnent des commandes à la machine à l'aide d'un dispositif d'entrée qui détecte la position 3D de l'action des utilisateurs. La scène virtuelle 3D simulée est projetée sur l'environnement réel par le biais d'un ou plusieurs périphérique de sortie.

Historique 
Les débuts de la 3D remontent à 1962, lorsque Morton Heilig a inventé le simulateur Sensorama. Il a proposé une projection vidéo 3D, ainsi que des retours haptiques, auditifs et afin de créer un environnement virtuel. L'étape suivante du développement fut l'achèvement de son travail en 1968. Il a créé un Visiocasque, l'épée de Damoclès, qui produit une image 3D environnement virtuel.

La disponibilité de la technologie ainsi que les coûts trop élevés ont freiné le développement et l'application des environnements virtuels jusqu'aux années 1980. Les applications étaient limitées aux entreprises militaires aux États-Unis. Depuis, d'autres recherches et progrès technologiques ont permis d'ouvrir de nouvelles portes à des applications dans divers autres domaines tels que l'éducation ou le diversement.

En interaction 3D, les utilisateurs exécutent leurs tâches et remplissent leurs fonctions en échangeant des informations avec des systèmes informatiques dans l'espace 3D. C'est un type d'interaction intuitive puisque les êtres humains interagissent en trois dimensions dans le monde réel au quotidien. Les tâches que les utilisateurs exécutent ont été classées en trois catégories principales : la sélection et la manipulation d'objets dans l'espace virtuel, la navigation et le contrôle du système. Les tâches peuvent être exécutées dans l'espace virtuel grâce à des techniques d'interaction et à l'utilisation de dispositifs d'interaction. Les techniques d'interaction 3D ont été classées en fonction du groupe de tâches qu'elles soutiennent. Les techniques qui permettent de soutenir les tâches de navigation sont classées comme des « techniques de navigation ». Les techniques qui permettent la sélection et la manipulation d'objets sont étiquetées en tant que « techniques de sélection et de manipulation ». Enfin, les « techniques de contrôle du système » ont trait au contrôle de l'application elle-même. Une association cohérente et efficace entre les techniques et les dispositifs d'interaction doit être établie pour que le système soit utilisable et efficace. Les interfaces associées à l'interaction 3D sont appelées « interfaces 3D ». Comme d'autres types d'interfaces utilisateur, elles impliquent une communication bidirectionnelle entre les utilisateurs et le système, mais permettent aux utilisateurs d'effectuer des actions dans l'espace 3D. Les périphériques d'entrée permettent aux utilisateurs de donner des instructions et des commandes au système, tandis que les périphériques de sortie permettent à la machine de leur présenter des informations de l'environnement 3D.

Les utilisateurs éprouvent un sentiment de présence lorsqu'ils sont engagés dans un monde virtuel immersif. Permettre aux utilisateurs d'interagir avec ce monde en 3D leur permet d'utiliser des connaissances naturelles et intrinsèques sur la façon dont l'échange d'informations se fait avec les objets physiques dans le monde réel. La texture, le son et la parole peuvent tous être utilisés pour augmenter l'interaction 3D. Actuellement, les utilisateurs ont encore de la difficulté à interpréter les images spatiales en 3D et à comprendre comment l'interaction se produit. Bien qu'il s'agisse d'une façon naturelle pour les humains de se déplacer dans un monde tridimensionnel, cette difficulté résulte de l'absence, dans le monde virtuel, de nombreux indices présents dans les environnements réels. La perception et l'occlusion sont les principaux indices perceptuels utilisés par les humains. De plus, même si les scènes dans l'espace virtuel semblent tridimensionnelles, elles sont toujours affichées sur une surface 2D, de sorte que certaines incohérences dans la perception de la profondeur existeront toujours.

Interfaces utilisateur 3D 
Les interfaces utilisateurs sont les moyens de communication entre les utilisateurs et les systèmes informatiques. Les interfaces 3D comprennent des périphériques pour la représentation 3D de l'état du système (périphériques de sortie) et des périphériques pour la saisie ou la manipulation 3D par l'utilisateur (périphériques d'entrée). L'utilisation de représentations 3D ne suffit pas pour créer une interaction 3D. Les utilisateurs doivent aussi pouvoir effectuer des actions en trois dimensions. À cet effet, des dispositifs spéciaux d'entrée et de sortie ont été mis au point pour supporter ce type d'interaction. Certaines, comme la souris 3D, ont été développées à partir de dispositifs existants pour l'interaction 2D.

Périphériques d'entrées 
Les périphérique d'entrées sont des instruments utilisés pour manipuler des objets et envoyer des instructions de contrôle au système informatique. Ils varient en termes de degrés de liberté qu'ils offrent et peuvent être classés en dispositifs d'entrée standard, traqueurs, dispositifs de contrôle, équipements de navigation et interfaces gestuelles.

Les périphériques d'entrée standard comprennent les claviers, les tablettes à stylet, les joysticks, et les souris 2D. Néanmoins, de nombreuses études ont remis en question la pertinence des périphériques standards pour l'interaction 3D bien que cela fasse toujours l'objet d'un débat.

Les traqueurs détectent ou surveillent les mouvements de la tête, des mains ou du corps et envoient cette information à l'ordinateur. L'ordinateur le traduit ensuite et s'assure que la position et l'orientation sont reflétées avec précision dans le monde virtuel. Le suivi est important pour présenter un point de vue correct, coordonner l'information spatiale et sonore présentée aux utilisateurs ainsi que les tâches ou fonctions qu'ils peuvent accomplir. Les traqueurs 3D peuvent être mécaniques, magnétiques, ultrasoniques, optiques, optiques et hybrides inertiels. Des exemples de trackers incluent les trackers de mouvement, les capteurs oculométriques, et les gants de données.

Une simple souris 2D peut être considérée comme un appareil de navigation si elle permet à l'utilisateur de se déplacer à un autre endroit dans un espace 3D virtuel. Les appareils de navigation tels que le tapis roulant et le vélo utilisent les moyens naturels que les humains utilisent pour se déplacer dans le monde réel. Les ergomètres simulent la marche ou la course à pied et les vélos ou un équipement de type similaire simulent les déplacements en véhicule. Dans le cas des appareils de navigation, l'information transmise à la machine correspond à l'emplacement et aux mouvements de l'utilisateur dans l'espace virtuel.

Les gants de données et les combinaisons permettent une interaction gestuelle. Ceux-ci envoient des informations sur la position de la main ou du corps et les mouvements à l'ordinateur à l'aide de capteurs.

Périphériques de sortie 
Les périphériques de sortie permettent à la machine de fournir des informations ou un retour d'information à l'utilisateur. Ils comprennent des présentations visuelles, auditives et haptiques. Les écrans fournissent un retour d'information aux utilisateurs sous forme visuelle 3D. Les casques de réalité virtuelle et les CAVEs sont des exemples d'affichage visuel entièrement immersif, où l'utilisateur ne peut voir que le monde virtuel et non le monde réel. Les écrans semi-immersifs permettent aux utilisateurs de voir les deux. Les retours auditifs sont particulièrement utile lors de la fourniture d'informations géographiques et spatiales aux utilisateurs. L'ajout d'une composante audio d'arrière-plan à un écran permet d'ajouter du réalisme au système. L'écran tactile envoie un retour tactile ou une sensation à l'utilisateur lorsque celui-ci interagit.

Techniques d'interaction 3D 
Les techniques d'interaction 3D sont des méthodes utilisées pour exécuter différents types de tâches dans l'espace 3D. Les techniques sont classées en fonction des tâches qu'elles supportent.

Sélection et manipulation 
Les utilisateurs doivent pouvoir manipuler des objets virtuels. Les tâches de manipulation impliquent la sélection et le déplacement d'un objet (rotation incluse). La manipulation directe est la technique la plus naturelle car la manipulation d'objets physiques avec la main est intuitive pour l'homme. Cependant, cela n'est pas toujours possible. Une main virtuelle (virtual hand) qui peut sélectionner et déplacer des objets virtuels fonctionne également.

Les widgets 3D peuvent être utilisés pour mettre des contrôles sur des objets : ceux-ci sont généralement appelés Gizmos 3D' ou Manipulateurs (un exemple classique est the ones de Blender]). Les utilisateurs peuvent les utiliser pour déplacer, redimensionner ou réorienter un objet (respectivement translater, zoomer, ou faire pivoter).

D'autres techniques comprennent la technique Go-Go et le lancer de rayons: un rayon virtuel est utilisé pour pointer, et sélectionner un objet.

Navigation 
L'ordinateur doit fournir à l'utilisateur des informations concernant son emplacement et ses mouvements. Les tâches de navigation ont deux composantes. Le voyage consiste à se déplacer de l'endroit actuel au point désiré. L'orientation fait référence à la recherche et à l'établissement d'itinéraires pour atteindre un objectif de voyage dans l'environnement virtuel.

L'orientation dans l'espace virtuel est différente et plus difficile à effectuer que dans le monde réel dans la mesure où les environnements virtuels sont souvent dépourvus de repères perceptuels et de contraintes de mouvement. L'utilisation d'un champ de vision plus large et la présence de repères de mouvement peuvent néanmoins diminuer ces problèmes.

Le voyage : de bonnes techniques de voyage permettent à l'utilisateur de se déplacer facilement dans l'environnement. Il y a trois types de tâches de voyage, à savoir l'exploration, la recherche et les manœuvres. Les techniques de voyage peuvent être classées dans les cinq catégories suivantes :
 mouvement physique - l'utilisateur se déplace dans le monde virtuel ;
 manipulation manuelle des points de vue - l'utilisateur déplace la caméra du monde virtuelle pour l'observer ;
 direction - spécification de la direction ;
 voyage ciblé - spécification de la destination ;
 calcul d'itinéraires - Spécification des itinéraires.

Contrôle du système 
Les tâches qui impliquent l'émission de commandes à l'application afin de changer de mode système ou d'activer certaines fonctionnalités relèvent de la catégorie de contrôle du système informatique. Les techniques qui soutiennent les tâches de contrôle du système en trois dimensions sont classées comme suit :
 Menus graphiques
 Commandes vocales
 Interaction gestuelle
 Outils virtuels avec des fonctions spécifiques

Voir aussi 

 Composant d'interface graphique
 Design numérique
 Interactions homme-machine

Notes et références

Bibliographie 
 D. Bowman, E. Kruijff, J. LaViola, I. Poupyrev, An Introduction to 3-D User Interface Design, Presence, 10(1), février 2001, .
 D. Bowman, E. Kruijff, J. LaViola, I. Poupyrev, 3D User Interfaces: Theory and Practice, Boston: Addison–Wesley, 2005
 G. C. Burdea, P. Coiffet, Virtual Reality Technology ( éd.), New Jersey: John Wiley & Sons Inc, 2003
 J. M. Carroll, Human–Computer Interaction in the New Millennium, New York: ACM Press, 2002
 M. Csisinko, H. Kaufmann, Towards a Universal Implementation of 3D User Interaction Techniques [Proceedings of Specification, Authoring, Adaptation of Mixed Reality User Interfaces Workshop, IEEE VR], Charlotte, mars 2007
 
 
 L. C. Larijani, The Virtual Reality Primer. United States of America, R. R. Donnelley and Sons Company, 1993.
 A. Van Rhijn, Configurable Input Devices for 3D Interaction using Optical Tracking, Eindhoven: Technische Universiteit Eindhoven, 2006.
 W. Stuerzlinger, D. Dadgari, J-Y. Oh, Reality-Based Object Movement Techniques for 3D. CHI 2006 Workshop : What is the Next Generation of Human–Computer Interaction? , Workshop presentation, avril 2006
 J. Vince, Essential Virtual Reality Fast, Springer-Verlag London Limited, 1998
 C. Yuan, Seamless 3D Interaction in AR – A Vision-Based Approach, In : Proceedings of the First International Symposium, ISVC, Lake Tahoe, NV, USA: Springer Berlin/ Heidelberg, décembre 2005,

Liens externes 

 Bibliography on 3D Interaction and Spatial Input
 3DI Group
 3D Interaction in Virtual Environments
 Automenta SpaceNet (Software)

Interaction homme-machine
En informatique , on désigne par interaction toute forme d' interaction homme-machine où l' utilisateur doit se déplacer , manipuler , naviguer dans l' espace . Il s' agit d' informations sur les processus humains et mécaniques où la position physique de les éléments dans l' espace est pertinente . L' espace utilisé pour l' interaction peut être l' espace physique réel , une représentation simulée par un ordinateur , ou une combinaison de les deux . Lorsque l' espace réel est utilisé pour les entrées , les utilisateurs effectuent de les actions ou donnent de les commandes à la machine à l' aide d' un dispositif d' entrée qui détecte la position de l' action de les utilisateurs . La scène virtuelle simulée est projetée sur l' environnement réel par le biais d' un ou plusieurs périphérique de sortie . Historique Les débuts de la remontent à lorsque Morton Heilig a inventé le simulateur Sensorama . Il a proposé une projection vidéo , ainsi que de les retours haptiques , auditifs et afin de créer un environnement virtuel . L' étape suivante de le développement fut l' achèvement de son travail en Il a créé un Visiocasque , l' épée de Damoclès , qui produit une image environnement virtuel . La disponibilité de la technologie ainsi que les coûts trop élevés ont freiné le développement et l' application de les environnements virtuels jusqu' à les années Les applications étaient limitées à les entreprises militaires à les États-Unis . Depuis , d' autres recherches et progrès technologiques ont permis d' ouvrir de nouvelles portes à de les applications dans divers autres domaines tels que l' éducation ou le diversement . En interaction , les utilisateurs exécutent leurs tâches et remplissent leurs fonctions en échangeant de les informations avec de les systèmes informatiques dans l' espace . C' est un type d' interaction intuitive puisque les êtres humains interagissent en trois dimensions dans le monde réel à le quotidien . Les tâches que les utilisateurs exécutent ont été classées en trois catégories principales \ : la sélection et la manipulation d' objets dans l' espace virtuel , la navigation et le contrôle de le système . Les tâches peuvent être exécutées dans l' espace virtuel grâce à de les techniques d' interaction et à l' utilisation de dispositifs d' interaction . Les techniques d' interaction ont été classées en fonction de le groupe de tâches qu' elles soutiennent . Les techniques qui permettent de soutenir les tâches de navigation sont classées comme de les « techniques de navigation » . Les techniques qui permettent la sélection et la manipulation d' objets sont étiquetées en tant que « techniques de sélection et de manipulation » . Enfin , les « techniques de contrôle de le système » ont trait à le contrôle de l' application elle-même . Une association cohérente et efficace entre les techniques et les dispositifs d' interaction doit être établie pour que le système soit utilisable et efficace . Les interfaces associées à l' interaction sont appelées « interfaces » . Comme d' autres types d' interfaces utilisateur , elles impliquent une communication bidirectionnelle entre les utilisateurs et le système , mais permettent à les utilisateurs d' effectuer de les actions dans l' espace . Les périphériques d' entrée permettent à les utilisateurs de donner de les instructions et de les commandes à le système , tandis que les périphériques de sortie permettent à la machine de leur présenter de les informations de l' environnement . Les utilisateurs éprouvent un sentiment de présence lorsqu' ils sont engagés dans un monde virtuel immersif . Permettre à les utilisateurs d' interagir avec ce monde en leur permet d' utiliser de les connaissances naturelles et intrinsèques sur la façon dont l' échange d' informations se fait avec les objets physiques dans le monde réel . La texture , le son et la parole peuvent tous être utilisés pour augmenter l' interaction . Actuellement , les utilisateurs ont encore de la difficulté à interpréter les images spatiales en et à comprendre comment l' interaction se produit . Bien qu' il s' agisse d' une façon naturelle pour les humains de se déplacer dans un monde tridimensionnel , cette difficulté résulte de l' absence , dans le monde virtuel , de nombreux indices présents dans les environnements réels . La perception et l' occlusion sont les principaux indices perceptuels utilisés par les humains . De plus , même si les scènes dans l' espace virtuel semblent tridimensionnelles , elles sont toujours affichées sur une surface , de sorte que certaines incohérences dans la perception de la profondeur existeront toujours . Interfaces utilisateur Les interfaces utilisateurs sont les moyens de communication entre les utilisateurs et les systèmes informatiques . Les interfaces comprennent de les périphériques pour la représentation de l' état de le système ( périphériques de sortie ) et de les périphériques pour la saisie ou la manipulation par l' utilisateur ( périphériques d' entrée ) . L' utilisation de représentations ne suffit pas pour créer une interaction . Les utilisateurs doivent aussi pouvoir effectuer de les actions en trois dimensions . À cet effet , de les dispositifs spéciaux d' entrée et de sortie ont été mis à le point pour supporter ce type d' interaction . Certaines , comme la souris , ont été développées à partir de dispositifs existants pour l' interaction . Périphériques d' entrées Les périphérique d' entrées sont de les instruments utilisés pour manipuler de les objets et envoyer de les instructions de contrôle à le système informatique . Ils varient en termes de degrés de liberté qu' ils offrent et peuvent être classés en dispositifs d' entrée standard , traqueurs , dispositifs de contrôle , équipements de navigation et interfaces gestuelles . Les périphériques d' entrée standard comprennent les claviers , les tablettes à stylet , les joysticks , et les souris . Néanmoins , de nombreuses études ont remis en question la pertinence de les périphériques standards pour l' interaction bien que cela fasse toujours l' objet d' un débat . Les traqueurs détectent ou surveillent les mouvements de la tête , de les mains ou de le corps et envoient cette information à l' ordinateur . L' ordinateur le traduit ensuite et s' assure que la position et l' orientation sont reflétées avec précision dans le monde virtuel . Le suivi est important pour présenter un point de vue correct , coordonner l' information spatiale et sonore présentée à les utilisateurs ainsi que les tâches ou fonctions qu' ils peuvent accomplir . Les traqueurs peuvent être mécaniques , magnétiques , ultrasoniques , optiques , optiques et hybrides inertiels . De les exemples de trackers incluent les trackers de mouvement , les capteurs oculométriques , et les gants de données . Une simple souris peut être considérée comme un appareil de navigation si elle permet à l' utilisateur de se déplacer à un autre endroit dans un espace virtuel . Les appareils de navigation tels que le tapis roulant et le vélo utilisent les moyens naturels que les humains utilisent pour se déplacer dans le monde réel . Les ergomètres simulent la marche ou la course à pied et les vélos ou un équipement de type similaire simulent les déplacements en véhicule . Dans le cas de les appareils de navigation , l' information transmise à la machine correspond à l' emplacement et à les mouvements de l' utilisateur dans l' espace virtuel . Les gants de données et les combinaisons permettent une interaction gestuelle . Ceux-ci envoient de les informations sur la position de la main ou de le corps et les mouvements à l' ordinateur à l' aide de capteurs . Périphériques de sortie Les périphériques de sortie permettent à la machine de fournir de les informations ou un retour d' information à l' utilisateur . Ils comprennent de les présentations visuelles , auditives et haptiques . Les écrans fournissent un retour d' information à les utilisateurs sous forme visuelle . Les casques de réalité virtuelle et les CAVEs sont de les exemples d' affichage visuel entièrement immersif , où l' utilisateur ne peut voir que le monde virtuel et non le monde réel . Les écrans semi-immersifs permettent à les utilisateurs de voir les deux . Les retours auditifs sont particulièrement utile lors de la fourniture d' informations géographiques et spatiales à les utilisateurs . L' ajout d' une composante audio d' arrière-plan à un écran permet d' ajouter de le réalisme à le système . L' écran tactile envoie un retour tactile ou une sensation à l' utilisateur lorsque celui-ci interagit . Techniques d' interaction Les techniques d' interaction sont de les méthodes utilisées pour exécuter différents types de tâches dans l' espace . Les techniques sont classées en fonction de les tâches qu' elles supportent . Sélection et manipulation Les utilisateurs doivent pouvoir manipuler de les objets virtuels . Les tâches de manipulation impliquent la sélection et le déplacement d' un objet ( rotation incluse ) . La manipulation directe est la technique la plus naturelle car la manipulation d' objets physiques avec la main est intuitive pour l' homme . Cependant , cela n' est pas toujours possible . Une main virtuelle ( virtual hand ) qui peut sélectionner et déplacer de les objets virtuels fonctionne également . Les widgets peuvent être utilisés pour mettre de les contrôles sur de les objets \ : ceux-ci sont généralement appelés Gizmos ' ou Manipulateurs ( un exemple classique est the ones de Blender ] ) . Les utilisateurs peuvent les utiliser pour déplacer , redimensionner ou réorienter un objet ( respectivement translater , zoomer , ou faire pivoter ) . D' autres techniques comprennent la technique Go-Go et le lancer de rayons : un rayon virtuel est utilisé pour pointer , et sélectionner un objet . Navigation L' ordinateur doit fournir à l' utilisateur de les informations concernant son emplacement et ses mouvements . Les tâches de navigation ont deux composantes . Le voyage consiste à se déplacer de l' endroit actuel à le point désiré . L' orientation fait référence à la recherche et à l' établissement d' itinéraires pour atteindre un objectif de voyage dans l' environnement virtuel . L' orientation dans l' espace virtuel est différente et plus difficile à effectuer que dans le monde réel dans la mesure où les environnements virtuels sont souvent dépourvus de repères perceptuels et de contraintes de mouvement . L' utilisation d' un champ de vision plus large et la présence de repères de mouvement peuvent néanmoins diminuer ces problèmes . Le voyage \ : de bonnes techniques de voyage permettent à l' utilisateur de se déplacer facilement dans l' environnement . Il y a trois types de tâches de voyage , à savoir l' exploration , la recherche et les manœuvres . Les techniques de voyage peuvent être classées dans les cinq catégories suivantes \ : mouvement physique - l' utilisateur se déplace dans le monde virtuel ; manipulation manuelle de les points de vue - l' utilisateur déplace la caméra de le monde virtuelle pour l' observer ; direction - spécification de la direction ; voyage ciblé - spécification de la destination ; calcul d' itinéraires - Spécification de les itinéraires . Contrôle de le système Les tâches qui impliquent l' émission de commandes à l' application afin de changer de mode système ou d' activer certaines fonctionnalités relèvent de la catégorie de contrôle de le système informatique . Les techniques qui soutiennent les tâches de contrôle de le système en trois dimensions sont classées comme suit \ : Menus graphiques Commandes vocales Interaction gestuelle Outils virtuels avec de les fonctions spécifiques Voir aussi Composant d' interface graphique Design numérique Interactions homme-machine Notes et références Bibliographie D. Bowman , E. Kruijff , J. LaViola , I. Poupyrev , An Introduction toD User Interface Design , Presence,1 ) , février \ . D. Bowman , E. Kruijff , J. LaViola , I. Poupyrev , User Interfaces : Theory and Practice , Boston : Addison–Wesley , G. C. Burdea , P. Coiffet , Virtual Reality Technology ( éd. ) , New Jersey : John Wiley & Sons Inc , J. M. Carroll , Human–Computer Interaction in the New Millennium , New York : ACM Press , M. Csisinko , H. Kaufmann , Towards a Universal Implementation of User Interaction Techniques [ Proceedings of Specification , Authoring , Adaptation of Mixed Reality User Interfaces Workshop , IEEE VR ] , Charlotte , mars L. C. Larijani , The Virtual Reality Primer . United States of America , R. R. Donnelley and Sons Company , A. Van Rhijn , Configurable Input Devices for Interaction using Optical Tracking , Eindhoven : Technische Universiteit Eindhoven , W. Stuerzlinger , D. Dadgari , J-Y. Oh , Reality-Based Object Movement Techniques for . CHIWorkshop \ : What is the Next Generation of Human–Computer Interaction ? , Workshop presentation , avril J. Vince , Essential Virtual Reality Fast , Springer-Verlag London Limited , C. Yuan , Seamless Interaction in AR – A Vision-Based Approach , In \ : Proceedings of the First International Symposium , ISVC , Lake Tahoe , NV , USA : Springer Berlin / Heidelberg , décembre Liens externes Bibliography on Interaction and Spatial Input I Group Interaction in Virtual Environments Automenta SpaceNet ( Software ) Interaction homme-machine