L'évolution de Kinect et l'importance réelle de Microsoft Research
Table des matières:
Que Kinect est important pour Microsoft est presque un truisme. Le dispositif de capture Redmond va bien au-delà d'une simple méthode de contrôle de leur console de jeux vidéo et est devenu un élément important de leur stratégie et une référence pour nombre de leurs produits. Mais c'est aussi un échantillon tangible de ce qui peut naître de l'association d'un département d'entreprise avec le laboratoire d'idées Microsoft Research.
Le premier Kinect en était déjà un exemple. Trois ans plus tard, c'est cette même union qui a permis à l'appareil d'évoluer vers des limites insoupçonnées pour accompagner la sortie de la Xbox One.Dans toutes ses sections Kinect 2.0 représente une amélioration significative par rapport à son prédécesseur et au cours de cette semaine, Microsoft a profité de l'occasion pour expliquer comment il a fait partie du processus de développement du gadget qui est en passe de devenir une pièce fondamentale dans l'interaction entre l'homme et la machine.
Kinect 1.0
Quand Microsoft a présenté Project Natal à l'E3 en juin 2009, beaucoup y ont vu une simple réponse de Redmond au succès indéniable que récoltait Nintendo avec la Wii et son système de contrôle. Mais sous ce projet portant le nom d'une ville brésilienne se cachait le Kinect, un appareil qui s'est avéré être un best-seller incontestable et au fil du temps a fini par être beaucoup plus que prévu.
Si la technologie du premier Kinect est née des développements logiciels du studio Rare et de la technologie de capture d'images de la société israélienne PrimeSense, ce sera la combinaison de l'équipe Xbox avec les investigations de Microsoft Research qui permet d'atteindre le marché
L'appareil en forme de tige utilisait un projecteur infrarouge et une caméra qui scannaient la scène et envoyaient les informations à une micropuce spécialement préparée pour capturer le mouvement des objets et des personnes en trois dimensions. Ils étaient rejoints par une rangée de microphones capables de reconnaître la voix de l'utilisateur. Tous ces éléments réunis ont permis la capture de mouvement 3D ainsi que la reconnaissance faciale, gestuelle et vocale.
Pour une telle tâche, les spécifications Kinect n'avaient rien de spécial. La caméra avait une résolution VGA et fonctionnait à 640x480 par défaut, bien qu'elle soit capable de fonctionner à 1280x1024 pixels au prix d'un taux de rafraîchissement inférieur. La micropuce incluse n'effectuait qu'une partie du travail de traitement des informations, laissant une bonne partie de la tâche à la console elle-même.
L'une des clés de tout le système résidait dans le logiciel créé par Microsoft pour interpréter toutes les informations collectées par les capteurs Kinect.C'est là que Microsoft Research a joué et continue de jouer un rôle important, en étudiant les utilisations les plus diverses de Kinect et en collaborant au SDK que Microsoft a mis en ligne depuis 2011 afin que tout développeur l'intègre dans ses produits ou services.
Kinect 2.0
La grande différence entre le nouveau Kinect et son prédécesseur réside dans le nouvel appareil photo principal. La deuxième génération de l'appareil de capture de mouvement intègre une caméra à temps de vol (TOF) haute résolution qui permet à la future Xbox One Kinect de capturer plus de détails avec haute précision et résolution supérieure. Le nouveau mode de profondeur fourni par cette caméra TOF permet de reproduire une scène avec trois fois plus de fidélité que la première Kinect.
Ce n'est pas le seul avantage d'utiliser ce type d'appareil photo.Avec lui, un champ de vision 60% plus grand est également atteint, ce qui permet d'enregistrer un plus grand espace et permet à plus de personnes d'être enregistrées en même temps et à une distance plus courte de l'appareil. Avec la nouvelle console, jusqu'à 6 personnes peuvent apparaître sur scène, reconnaissant et distinguant tous leurs mouvements. C'est une avancée significative par rapport à son prédécesseur qui n'était capable d'enregistrer que le mouvement de 2.
Le deuxième grand changement dans la nouvelle génération de Kinect vient de la main du nouveau capteur infrarouge qui parvient à reconnaître les objets et les personnes dans des conditions de très faible luminosité. Le capteur est maintenant si puissant qu'il peut identifier des objets dans une pièce complètement sombre. La précision est telle qu'il peut reconnaître les personnes et enregistrer les corps même sans aucune lumière visible à l'œil humain. En basse lumière, il reconnaît la pose de la main jusqu'à quatre mètres de distance, distinguant chacun des doigts avec précision.
Kinect 2.0 distingue le squelette complet de l'utilisateur, l'orientation de ses membres, les muscles du corps et même les battements de son cœur.
La combinaison des nouveaux éléments permet d'enregistrer non seulement la silhouette de l'utilisateur, mais aussi de distinguer son squelette complet, l'orientation de ses membres, les muscles du corps avec la force et la répartition du poids exercé sur eux, et même le rythme cardiaque. La reconnaissance faciale est également grandement améliorée, détectant même les moindres détails et gestes et permettant une identification plus précise. Pour avoir une idée de ce que tout cela signifie, jetez simplement un œil à la vidéo suivante.
Toute cette nouvelle technologie a également une amélioration du processeur Kinect qui lui permet de faire face à l'énorme quantité d'informations que tous les nouveaux capteurs obtiennent. Jusqu'à 2 gigabits de données par seconde sont collectés par l'appareil pour lire l'environnementToutes ces informations doivent être traitées et interprétées rapidement et pour cela une amélioration évidente des spécifications de la machine a été nécessaire.
Mais changer les composants n'a pas suffi. Le puissant scanner qu'est devenu Kinect nécessite un logiciel capable d'interpréter tout ce qu'il voit, et pour cela il a fallu procéder à une évolution importante du code qui l'exécute. C'est là que l'expérience et les connaissances de Microsoft Research sont devenues plus importantes que jamais, aidant l'équipe Xbox là où les problèmes survenaient et fournissant les bonnes solutions en temps opportun. rapide et efficace. Kinect 2.0 est ainsi devenu le produit d'une collaboration dont l'histoire démontre le potentiel que Microsoft cache dans son laboratoire d'idées.
Le processus d'évolution
L'évolution de Kinect raconte comment une équipe d'ingénieurs a essayé d'apporter une caméra TOF sur Xbox One.Ces types de caméras émettent des signaux lumineux qui rebondissent sur les objets et sont récupérés en mesurant le temps nécessaire pour parcourir la distance. Pour qu'ils fonctionnent correctement, en distinguant les réflexions des objets dans une pièce et de leur environnement, une précision allant jusqu'à 1/10 de milliard de secondes est nécessaire. Un tel niveau de précision est le seul moyen de fournir suffisamment d'informations pour permettre de calculer correctement les formes et les contours des objets.
Cela semble compliqué, et le problème est qu'atteindre ces niveaux avec un produit de consommation est aussi difficile qu'il n'y paraît. Au cours du processus de développement du nouveau Kinect, toutes sortes de problèmes ont dû être résolus en un temps limité. Kinect 2.0 devrait être prêt pour accompagner la sortie de la Xbox One, prévue pour fin 2013.
C'est dans ces circonstances que Microsoft a un atout dans sa manche : Microsoft Research, votre think tankL'équipe derrière le Kinect a utilisé les vastes connaissances et l'expérience technique des membres de Microsoft Research pour résoudre les divers problèmes qui apparaissaient avec la nouvelle technologie intégrée à l'appareil. C'est là que les années d'investissement en recherche et développement ont commencé à porter leurs fruits grâce à la collaboration entre les différents départements de l'entreprise.
Le défi n'a pas été facile. Différencier les objets de premier plan de l'arrière-plan et minimiser le flou de la caméra est une tâche ardue. Pour le premier, les petits objets devaient être mesurés avec précision dans toutes sortes de scénarios et avec toutes sortes de conditions d'éclairage. Il a fallu travailler jusqu'à ce qu'il soit possible de différencier les doigts des mains, en évitant de les confondre avec l'environnement. Grâce à ce travail le nouveau Kinect est capable de détecter des objets aussi petits que 2,5 centimètres, contre 7,5 centimètres pour son prédécesseur. Le problème de flou a nécessité plus de travail et d'optimisation logicielle, mais au fil du temps, les ingénieurs de Microsoft ont réussi à réduire le flou de mouvement de 65 millisecondes sur le Kinect d'origine à 14 millisecondes sur son successeur.
Toutes ces tâches nécessitent de traiter une énorme quantité d'informations. Les données capturées par les caméras Kinect sont sur une base par pixel, ce qui signifie que chacun des 220 000 pixels pris en charge par le capteur Kinect collecte des données indépendammentÀ cela, il faut ajouter beaucoup plus d'informations collectées par le reste des capteurs. Le problème compliqué est de réussir à identifier et interpréter toutes ces informations, en séparant les éléments et la profondeur à laquelle ils se trouvent et en éliminant le bruit de l'image.
Avec Kinect, la Xbox One doit traiter 6,5 millions de pixels par seconde
"Xbox One doit traiter 6,5 millions de pixels par seconde et seule une petite partie de la puissance de calcul de la console peut être dédiée à la tâche d&39;interprétation des informations puisque la plus grande partie de la puissance doit être réservée aux jeux, au squelette suivi, ou reconnaissance faciale ou audio. Très peu de calculs étaient requis par pixel, nécessitant un nettoyage>Sans l&39;aide inestimable de Microsoft Research, l&39;équipe Kinect n&39;aurait jamais atteint son objectif à temps"
L'importance réelle de Microsoft Research
Le travail combiné de l'équipe Kinect avec les gens de Microsoft Research n'a pas été une relation purement consultative. Les chercheurs de Microsoft ont pris en charge une grande partie du travail et ont construit une infrastructure et un logiciel complets pour résoudre les problèmes liés à l'évolution de l'appareil. Les connaissances des deux équipes dans leurs domaines respectifs ont permis d'avancer plus vite que séparément.
La clé était la vitesse d'intégration et la capacité à fournir des solutions dans un court laps de temps. Mais tout ce travail ne se limite pas à mettre un produit en vente. L'avantage supplémentaire est que les progrès réalisés par les ingénieurs de Redmond sont à la disposition des développeurs, ce qui permet de travailler avec davantage de modes d'affichage et des données beaucoup plus propres.
Kinect révèle tout le potentiel que Microsoft cache en tant qu'entreprise et qui se révèle lorsque ses départements travaillent de manière intégrée.Plusieurs chercheurs de Microsoft Research ont été actifs dans le développement de Kinect 2.0, travaillant sur un projet qui aura un impact immédiat sur le marché. Pour ceux d'entre nous qui ont demandé une plus grande participation de Microsoft Research aux produits Redmond, c'est une bonne nouvelle.
Kinect, c'est aussi la démonstration tangible que Microsoft Research est bien plus qu'un laboratoire d'idées, c'est un capital fondamental pour l'avenir de Microsoft .
Via | Le blog officiel de Microsoft | TechCrunch
