Le fonctionnement de la réalité augmentée expliqué

Depuis quelques années, la réalité augmentée émerge vraiment et prend une part de plus en plus importante dans notre quotidien. Grâce à l’énorme succès de Pokémon Go en 2016, elle s’est fait connaître du grand public et il est désormais difficile d’y passer à côté. Elle s’est tellement démocratisée qu’on peut la retrouver partout, que cela soit pour nous aider à monter un meuble ou alors pour guider les malvoyants.

Cependant, si nous vous disions que la réalité augmentée a été créée dans les années 60 et qu’elle existait bien avant Pokémon GO, est-ce que vous nous croiriez ? Non, mais c’est pourtant le cas ! Avant de revenir sur les différentes étapes historiques et sur les utilisations de l’AR aujourd’hui, retour dans un premier temps sur le fonctionnement de la réalité augmentée.

Qu’est ce que la réalité augmentée ?

La réalité augmentée est une technologie visant à inclure des informations en temps réel, informations superposées à la réalité. On parle de réalité « augmentée » car la réalité se trouve enrichie d’informations virtuelles (objets, images, texte…) et ce, de façon interactive. Elle est à distinguer de la réalité virtuelle, qui immerge l’utilisateur dans un monde virtuel avec lequel il peut interagir. La réalité virtuelle est une technologie de simulation qui s’appuie sur le virtuel, alors que la réalité augmentée s’appuie elle sur le réel.

Il y a bien une interactivité avec cette technologie car l’utilisateur peut accéder à plus de détails s’il active les informations qui s’affichent devant lui. De plus, s’il vient à bouger, le logiciel va le comprendre et va afficher l’information associée à sa nouvelle position. Il est également possible de communiquer avec la réalité augmentée via des dispositifs comme des gants haptiques, ce qui renforce l’immersion de l’utilisateur. Le but final de la réalité augmentée est de stimuler nos 5 sens, pas seulement la vue ou l’ouïe.

Comment cela fonctionne ?

Pour que la réalité augmentée puisse fonctionner, elle nécessite trois éléments : une caméra de capture (le plus souvent un appareil photo), un système d’exploitation et un écran pour diffuser les informations. De plus, le système peut utiliser un système de géolocalisation pour afficher des données supplémentaires en fonction de la position de l’utilisateur.

L’affichage des éléments en AR se fait grâce à un dispositif spécialement conçu pour l’occasion (par exemple un casque comme le Hololens de Microsoft, les Google Glass ou un affichage tête haute sur les pare-brise de certaines voitures) ou bien à l’aide d’une application pour smartphone.

Les caméras situées sur les lunettes ou le casque vont d’abord capturer l’environnement où se trouve l’utilisateur. Ensuite, le logiciel contenu dans les lunettes va analyser cet environnement et afficher l’information adéquate sur l’écran des lunettes. Toute l’opération se fait très rapidement, et en temps réel.

Pour l’application smartphone, le procédé est le même, à la différence que l’œil ne voit pas directement l’environnement amélioré. L’œil de l’utilisateur voit la scène directement sur l’écran du smartphone ou de la tablette. L’image réelle et les informations virtuelles sont superposées de manière simultanée sur l’écran. Concernant l’affichage tête haute, c’est un petit projecteur qui va afficher les informations sur un miroir semi-transparent et ainsi permettra au conducteur de surveiller plus facilement des informations comme la vitesse ou la direction à prendre tout en gardant un œil sur la route.

Un exemple d’affichage tête-haute dans une voiture

Comment créer une application pour la réalité augmentée ?

Première étape, filmer la scène, l’endroit où l’on veut incruster nos éléments en réalité augmentée. Une fois que les images sont dans la boîte, il faut les traiter à l’aide d’un logiciel spécialisé dans la réalité augmentée. Le développeur va découper la zone de travail pour définir avec précision l’endroit où les objets virtuels vont s’afficher. Dans le cadre de la réalité augmentée, le logiciel va analyser les images et calculer en temps réel la position de la caméra par rapport à un objet en 3 dimensions.

On doit aussi délimiter les contours pour éviter que l’objet n’apparaisse ailleurs, ainsi que la distance entre la zone de travail et la caméra. Une fois que l’on a déterminé l’angle et la perspective, on intègre les éléments virtuels interagissant avec l’environnement réel.

Placer les marqueurs

Pour intégrer les éléments virtuels dans un environnement réel, il est nécessaire d’utiliser des marqueurs. Les marqueurs sont des éléments qui fonctionnent à la manière d’un QR Code : quand on passe notre smartphone devant un QR Code, il nous affiche un élément en particulier suivant ce que le développeur lui a demandé d’afficher.

Le procédé est le même avec les marqueurs : le développeur va ordonner aux lunettes ou au smartphone d’afficher une information (qui peut être une image, un texte…) quand la caméra de l’utilisateur passera dans une zone précise ou des coordonnées GPS définies au préalable (si l’application utilise la géolocalisation). Il faut donc pour cela définir cette zone dans le logiciel et faire correspondre le symbole qui va déclencher l’apparition de l’objet ou de l’information en fonction de la position et de l’orientation de l’utilisateur.

On utilise les marqueurs car les logiciels de réalité augmentée les analysent plus rapidement qu’une image : il y a plus d’éléments à analyser sur une image que sur un marqueur. Cependant, avec la démocratisation de kits de développement comme l’ARKit d’Apple ou l’ARCore de Google, les marqueurs sont voués à disparaître. En effet, ces kits comprendront des capteurs très complets permettant de simuler une pièce virtuelle en intégralité et de se déplacer à l’intérieur. Il sera désormais plus facile de créer son application AR avec ces outils.

Pokémon Go dans un supermarché

Le rendu final

Une fois que tout est en place, il ne reste plus qu’à doter l’utilisateur d’un dispositif permettant de lire la réalité augmentée. Toutefois, un problème peut subsister : la localisation de l’élément et l’alignement de la caméra quand la tête ou le smartphone bouge. C’est pour cela que les casques et les différents smartphones embarquent des capteurs pour calculer la position exacte et afficher l’information malgré la rotation comme :

• un gyromètre, qui mesure des changements dans l’orientation (mouvement angulaires) ou des changements de vitesse de rotation
• un magnétomètre, mesurant les champs magnétiques et agissant comme une boussole
• un accéléromètre, un capteur mesurant les accélérations, les changements de vitesse et de position (permet de savoir quand l’appareil se déplace)

Si la réalité augmentée a pris un tel essor dernièrement, c’est grâce à la démocratisation des smartphones qui embarquent toutes les caractéristiques requises pour faire fonctionner l’AR, à savoir une caméra, un système d’exploitation et un écran pour projeter la réalité augmentée. De plus, le développement des applications n’a jamais été aussi facile, ce qui implique un coût relativement faible.

Depuis quand la réalité augmentée existe-t-elle ?

La réalité augmentée, cela ne date pas d’hier. Pour retrouver la première trace de l’AR dans l’histoire, il faut remonter jusqu’en 1968 et les travaux de l’ingénieur du MIT Ivan Sutherland, qui avaient débouché sur le casque « Épée de Damoclès ». Dans le casque, deux lentilles, reliées à un ordinateur par un bras articulé. Le père de la réalité augmentée avait conçu avec son équipe un dispositif qui affichait un cube en 3D à travers des lentilles. L’ordinateur adaptait la vue en fonction des mouvements de tête de l’utilisateur.

Les premiers affichages tête haute datent des années 1980 et ont été développés principalement pour le secteur de la Défense. A noter qu’au tout début, l’AR servait à but expérimental et professionnel. La NASA a développé un casque, qui fut le précurseur de l’Hololens de chez Microsoft ou du Meta de chez Metavision. Ce casque permettait aux opérateurs d’ajouter une surcouche d’informations sur des éléments réels.

Pour voir apparaître pour la première fois le terme « réalité augmentée », il a fallu attendre les années 1990. Deux salariés de Boeing, Tom Caudell et David Mizell, ont développé un logiciel pour les employés travaillant sur les chaînes de montage. Le premier « vrai » dispositif d’AR est sorti en 1994 sous la houlette de Rekimoto et Takashi, deux scientifiques chez Sony. Son nom ? NaviCam, un logiciel capable de reconnaître des marqueurs. Le premier dispositif de réalité augmentée portable est quant à lui sorti en 1997 avec la touring machine conçue par Steve Feiner.

Le premier casque de réalité augmentée : l’Épée de Damoclès

Quelles sont les différentes applications de réalité augmentée ?

Aujourd’hui, on peut faire la différence entre 3 catégories d’applications de la réalité augmentée. Tout d’abord, les applications de visualisation 3D en réalité augmentée. Elles servent à placer des modèles ou des éléments en 3D à l’échelle pour se rendre compte du résultat final dans un environnement. 

Les secteurs de la vente ou encore de l’architecture utilisent principalement ces applications, notamment pour casser le frein à l’achat dû à l’absence de projection. On peut citer comme exemple l’application IKEA qui permet de placer des meubles virtuels dans son environnement pour se rendre compte du rendu final avant de passer commande.

Deuxièmement, les applications qui diffusent des informations à l’aide de votre caméra. Contrairement au cas précédent qui affiche des éléments en 3D, ces applications vont enrichir le flux de la caméra en diffusant des informations contextuelles, en superposition de ce que l’utilisateur voit.

On peut retrouver ces applications dans le secteur du tourisme pour afficher des informations supplémentaires sur les monuments, ou encore dans le secteur de la construction et de l’industrie, avec le casque de Daqri, par exemple pour afficher des détails techniques d’un bâtiment pour les architectes ou les ouvriers comme les distances, les matériaux utilisés, l’avancement du chantier etc… On peut aussi les retrouver dans le domaine de la navigation, comme l’application Métro Paris, qui permet de géolocaliser l’utilisateur et le guider vers la station de métro la proche.

Enfin, on peut citer les jeux en réalité augmentée, qui visent à créer une expérience encore plus immersive. Contrairement à la réalité virtuelle, ces jeux auront un lien avec la réalité. On peut citer par exemple des jeux comme Pokémon Go, Ingress ou AR Defender 2, qui utilisent l’environnement de l’utilisateur pour fonctionner et afficher du contenu personnalisé en fonction de sa position.

Et vous, quelles applications de réalité augmentée utilisez vous ? Avez vous acheté un casque AR comme le Microsoft Hololens ?