OmniTouch

L'une des grandes révolutions de l'informatique a été les écrans tactiles. Ils ont apporté une nouvelle façon d'interagir avec l'ordinateur, soit avec un pointeur spécial, soit avec votre doigt. En 2011, Microsoft est allé plus loin avec l'introduction d'OmniTouch, un projet qui rendait n'importe quelle surface tactile. L'idée de base est de monter une caméra et un projecteur sur l'épaule, qui projettent l'écran et lisent les frappes de l'utilisateur. Les possibilités sont infinies, nous permettant de transformer notre main, le mur, une feuille ou toute autre surface en un écran tactile .

Fonctionnement d'OmniTouch : reconnaissance des frappes

La partie la plus importante du projet OmniTouch est le suivi de la position et de la profondeur des doigts, pour savoir où l'utilisateur touche. Pour cela, une caméra PrimeSense sensible à la profondeur a été utilisée dans le prototype. Contrairement à un appareil photo normal qui mesure les couleurs, PrimeSense mesure la distance entre chaque point de l'image et l'objectif de l'appareil photo. La précision de 1 mm et la portée minimale de 20 cm sont les principaux avantages par rapport à la caméra Kinect, qui était initialement utilisée dans le projet.

"

Pour localiser les doigts, OmniTouch capture d&39;abord la carte de profondeur (A). Ensuite, la carte d&39;inclinaison est calculée>"

En (B), vous pouvez voir cette carte traduite en couleurs : le rouge signifie qu'il y a moins de profondeur dans la direction positive de l'axe X ou Y (vers le haut ou vers la droite) et le bleu signifie qu'il y a est moins profonde dans le sens négatif de l'axe X ou Y (vers le bas ou vers la gauche).Le violet signifie qu'il n'y a pratiquement aucun changement de profondeur.

Avec cette carte, le logiciel recherche des sections cylindriques verticales, une surface qui s'approche de la caméra, puis reste, et enfin s'éloigne. Qu'est-ce qu'un doigt si vous le faites passer d'un côté à l'autre, wow. Sur la carte des couleurs, recherchez une section rouge, puis une section violette, puis une section bleue, le tout sur le même axe vertical.

Les candidats possibles sont filtrés en fonction de la hauteur, pour filtrer tout ce qui ne peut pas être un doigt (par exemple, un cylindre de 2 millimètres de haut ne peut pas être reconnu comme un doigt, donc ce qui est rejeté). Dans la figure (C), vous pouvez voir toutes les sections de doigt identifiées.

Une fois cette opération effectuée, toutes les sections verticales sont réunies pour former le doigt (figure D). Les doigts qui peuvent être trop courts sont rejetés, et on suppose que puisque l'utilisateur est droitier, la partie la plus à gauche du doigt est la pointe.Et voilà, nous savons maintenant où l'utilisateur pointe vers .

Maintenant, comment savoir si le doigt touche la surface ? Ils l'appellent remplissage d'inondation, mais ce sera plus familier si je vous dis que c'est comme remplir avec le seau de peinture de Paint.

La technique est simple : localisez le milieu du doigt et commencez à remplir les pixels vers le haut, la gauche et la droite, avec une tolérance de 13 millimètres. Autrement dit, ils ne remplissent un pixel que si la différence entre sa profondeur et celle du milieu du doigt est inférieure à 13 millimètres.

De cette façon, si votre doigt ne touche rien, seuls les pixels correspondant à votre doigt seront remplis. Si vous touchez la main, beaucoup d'autres seront remplies. Dans l'image, vous pouvez voir ce qui se passe si le doigt est en l'air (à gauche) ou touche la main (à droite). Lorsqu'une certaine marge de pixels remplis est dépassée, le logiciel enverra un tap ou un clic à l'endroit correspondant.

Fonctionnement d'OmniTouch : Projection de l'image

Bien que la reconnaissance des doigts soit la partie centrale, nous ne pouvons pas oublier qu'OmniTouch doit également projeter une image sur n'importe quelle surface. La chambre de profondeur est également utilisée pour cela. Toutes les surfaces de l'image sont détectées à l'aide d'un algorithme de composants connectés, qui détecte très efficacement les points interconnectés dans l'image.

Une fois que les surfaces plus petites qu'une main ont été écartées, nous procédons à la fixation d'un centre ou d'un point de référence pour projeter l'image. Ce point aide à détecter l'orientation de la surface et permet donc de créer une image qui ne semble pas déformée.

Le prochain point difficile vient quand il s'agit de détecter la taille de la surface.Étant donné que les bords des surfaces ne peuvent pas être suffisamment bien reconnus, OmniTouch utilise la moyenne et l'écart type des points composants pour le classer en cinq points : main, bras, ordinateur portable, mur et table. Chacun d'eux a une certaine taille et un centre pour l'image.

Le logiciel génère l'image à projeter avec toutes les données, en la déformant pour qu'elle apparaisse correctement sur la surface. Il transmet ensuite l'image au projecteur, qui affichera l'image sur n'importe quelle surface.

Technologie précise avec de nombreuses possibilités

Tests utilisés pour mesurer la précision d'OmniTouch.

Lors des tests, OmniTouch s'est avéré être une technologie très précise. 96,5% de précision lorsqu'il s'agit de reconnaître un clic, un très bon chiffre et d'autant plus qu'il s'agit d'un prototype.Concernant la taille de l'interface, avec des boutons de 2 centimètres de diamètre, 95% des frappes seraient reconnues.

Cette taille maximale est nécessaire pour une interface projetée à la main. Sur d'autres surfaces plus éloignées, comme une table ou un mur, elle pourrait être réduite à 15 millimètres, plus ou moins la même taille recommandée pour un bouton sur un écran tactile classique .

"

Quant aux possibilités, elles sont infinies. Avec le prototype, un pupitre a été créé pour peindre : sur le mur vous avez dessiné et dans votre main gauche vous avez choisi les couleurs. Également utilisé comme surligneur>"

Mais le plus intéressant est ce qu'ils mentionnent à la fin du document : les possibilités qu'OmniTouch ouvre lorsque nous cessons de considérer les surfaces bidimensionnelles, en profitant des formes du corps pour changer la façon dont nous interagissons avec l'ordinateur.

"

OmniTouch est un projet vraiment passionnant, tant dans sa technique que dans ses possibilités. On reparlera de lui prochainement dans le spécial L&39;avenir selon Microsoft>"

Dans Xataka Windows | L'avenir selon Microsoft Plus d'informations | OmniTouch