LightSpace et la salle interactive. L'avenir selon Microsoft

Chez Microsoft Research, ils travaillent depuis longtemps sur les technologies de reconnaissance et d'interaction avec l'environnement. Kinect est l'exemple paradigmatique, mais pas le seul. LightSpace est un autre des projets dans ce domaine de la division de recherche de Redmond. Combinant des éléments de reconnaissance de surface avec la réalité augmentée, et grâce à des caméras de profondeur et des projecteurs, LightSpace rend interactives toutes les surfaces de la pièce et même l'espace libre entre elles.

L'objectif de LightSpace est de permettre l'interaction dans l'environnement quotidien, en utilisant différents éléments comme surfaces de projection.Le système utilise des tables ou des murs pour afficher des graphiques permettant aux utilisateurs d'utiliser les mains et les gestes pour manipuler le contenu projeté. Bien que seuls la table et le mur soient utilisés dans les démonstrations, LightSpace peut reconnaître un plus grand nombre de surfaces et les utiliser comme affichage interactif.

Interagir avec n'importe quelle surface

Le système permet non seulement de reconnaître plusieurs mains comme s'il s'agissait d'un écran multi-touch, mais ajoute également de nouvelles interactions avec le corps permettant les transitions entre différentes surfaces Par exemple, nous pouvons déplacer le contenu de l'un à l'autre simplement en plaçant une main sur l'objet en question et en touchant la surface de destination. De cette façon, LightSpace simule le contenu voyageant à travers nos corps d'une partie de la pièce à l'autre.

En plus de déplacer le contenu d'une surface à une autre, le système vous permet de l'en extraire et de le tenir entre vos mains comme s'il s'agissait d'un objet physique.Pour ce faire, il projette une boule rouge sur la main qui représente le contenu en question. L'utilisateur peut le transporter ainsi à travers la pièce et même échanger avec d'autres utilisateurs. Pour le remettre sur une surface, rapprochez-le simplement de celle-ci afin qu'il soit transféré, rendant à nouveau le contenu dessus.

La détection de profondeur utilisée par le système permet également de générer des représentations en dehors des surfaces elles-mêmes Ainsi, comme le montre la démo, nous pouvons naviguer dans les options d'un menu en levant ou en baissant les mains en l'air. Le système détecte la hauteur à laquelle il varie entre les différentes options. Comme le reste, ce n'est qu'un exemple de ce qui pourrait être accompli avec LightSpace.

Comment ça marche

Pour rendre la pièce interactive de cette manière, le système utilise plusieurs caméras de profondeur et projecteursCeux-ci sont calibrés pour détecter la position réelle des objets et des surfaces dans la pièce, permettant de représenter des graphiques sur ceux-ci. Pour ce faire, chacune des caméras enregistre la profondeur à laquelle se trouve chaque objet, en distinguant les objets stables dans la pièce des autres mobiles tels que les utilisateurs eux-mêmes. Chaque pixel est converti en coordonnées du monde réel.

LightSpace utilise ces données pour construire un maillage 3D des éléments de la pièce, détectant les surfaces sur lesquelles le contenu peut être projeté. Le modèle de la pièce servira à reconnaître les interactions des utilisateurs dans l'environnement Les caméras utilisées précédemment permettront de détecter les mouvements de l'utilisateur en différenciant leurs contours et détecter la position des mains avec précision.

Le système va ainsi interpréter les gestes de l'utilisateur pour réaliser chacune des actions mises en place.Nous en avons déjà vu certaines, comme travailler avec le contenu sur n'importe quelle surface, le transférer de l'un à l'autre ou le transporter dans la pièce elle-même comme s'il s'agissait d'un objet réel. Mais le système pourrait implémenter d'autres instructions permettant plus d'actions sur n'importe quelle surface.

C'est ici que l'imagination de chacun peut être mise à contribution. L'objectif est de transformer n'importe quelle surface en un écran interactif. Sans avoir besoin de moniteurs ou de détecteurs de mouvement supplémentaires, LightSpace transforme n'importe quelle pièce en un nouvel espace de travail ou de jeu En quelque chose de plus futuriste.

Dans Xataka Windows | L'avenir selon Microsoft Plus d'informations | Microsoft Research