Comment les lasers et les capteurs aident à garder les juges nerveux

Bonjour, Habr!

L'évaluation des performances d'un athlète est une tâche qui ne devient pas plus facile chaque année. Les vitesses augmentent, les programmes deviennent plus compliqués, de nouveaux éléments et leurs bundles apparaissent. Comparez au moins les performances des patineurs ou des gymnastes à Londres, Rio, Vancouver ou Sotchi et les programmes pour lesquels leurs prédécesseurs ont reçu l'or il y a un demi-siècle. La différence sera ressentie même par celui qui ne suit pas le sport.



Qui sont les juges? Bien qu'ils soient bien versés dans leur domaine, des gens ordinaires qui se fatiguent, se distraient, clignotent, cèdent aux émotions. Le résultat est des décisions controversées, après quoi les fans sont prêts à envoyer l'ensemble du jury «au savon».
Puisqu'une personne n'est pas parfaite, pourquoi ne pas compenser les faiblesses avec les dernières réalisations de la science et de la technologie. Une autre chaleur morte à la ligne d'arrivée a fait penser à Edward Maybridge que prendre une photo des chevaux qui traversaient à temps les sauverait des débats houleux et de leurs conséquences tout aussi chaudes lorsque les enjeux sont si élevés. Ils ont commencé à s'entraîner rapidement et pour la première fois la photo finish pendant les courses était déjà utilisée à la fin du 19ème siècle. La première rediffusion vidéo marquera le 65e anniversaire de cette année. Depuis les années 1970, le tennis utilise un juge de ligne électronique - un système informatisé qui détermine où la balle a atterri.

De tels systèmes sont efficaces lorsqu'une certaine action mène à la victoire (franchir la ligne d'arrivée en premier, marquer le ballon dans le but, sauter au-dessus des adversaires, etc.), mais sont presque inutiles lorsque le meilleur est déterminé, par exemple, par la technique d'exécution des éléments, leur nombre et leur séquence dans le programme. Ici, vous avez besoin de quelque chose de plus compliqué qu'une simple relecture instantanée. Fujitsu considère la technologie des capteurs 3D comme sa solution, qui permet de numériser, de numériser et d'évaluer en temps réel les mouvements des athlètes. En savoir plus sur le principe de son travail sous la coupe.

En mai 2016, Fujitsu et la Japan Gymnastics Association (JGA) ont conclu un accord de recherche conjoint pour créer un système de soutien des arbitres utilisant la technologie de reconnaissance et de numérisation 3D. La JGA, pour sa part, a fourni à Fujitsu des connaissances pratiques sur les juges, des données sur les athlètes, ainsi qu'un environnement de test, tandis que Fujitsu a développé un prototype de système de soutien des arbitres utilisant des capteurs 3D.

Vous direz probablement pourquoi réinventer la roue. Il existe une technologie de capture de mouvement bien connue, qui a longtemps été utilisée avec succès dans l'industrie cinématographique et le développement de jeux. Pourquoi ne pas l'appliquer? La réponse est plutôt simple. Des dizaines de capteurs légèrement plus petits qu'une balle de ping-pong interfèrent considérablement pendant l'entraînement, sans parler de laisser les athlètes sortir sur le tatami ou sur le terrain de jeu pour concourir pour les médailles. Ils ont essayé, mais l'application de cette technologie était généralement limitée aux conditions de laboratoire. Bien sûr, les données recueillies pourraient être utilisées pour optimiser la formation ou prévenir les blessures, mais le jury n'a pas été en mesure de rendre la vie un peu plus facile.

Le développement de l'Internet des objets et l'introduction des capteurs IoT ont apporté plus d'avantages à l'arbitrage. Cachés dans du matériel, sous certaines formes, comme le tir à l'arc ou le taekwondo, ils aident avec succès à déterminer lequel des participants était le meilleur. En tir à l'arc, le capteur détermine la position de la flèche dans la cible, en taekwondo - il vous permet d'évaluer les coups qui frappent les boucliers et le casque. Bien que l'idée soit loin d'être nouvelle, rappelons le tennis, mais avec le développement de l'IoT, il y a de plus en plus d'opportunités d'utiliser des capteurs dans différentes disciplines.
Certes, les capteurs IoT n'aideront pas à créer un système vraiment universel pour soutenir les juges. Premièrement, pour chaque sport, vous devez choisir votre type de capteur, et deuxièmement, dans de nombreux cas, les capteurs doivent être placés directement sur les athlètes. Troisièmement, ils n'aideront pas en temps réel à créer un modèle 3D du mouvement de l'athlète, ce qui signifie qu'ils ne pourront pas être appliqués dans les sports où les mouvements, l'équipement et la complexité des éléments sont évalués.

Le choix de la gymnastique comme point de départ n'est pas accidentel. Premièrement, la gymnastique se distingue par la plus grande variété de mouvements que font les athlètes. Cela permettra à long terme de collecter une grande quantité de données, de créer sur sa base une base de mouvements avec un haut degré de polyvalence et de l'utiliser dans d'autres sports.
La deuxième raison est plus prosaïque. La gymnastique est un sport populaire et bien développé au Japon. Par ailleurs, dans le contexte du «vieillissement» de la population japonaise (d'ici 2035, les personnes âgées représenteront près d'un tiers de la population totale du pays), le gouvernement soutient activement les initiatives visant à développer le sport et les soins de santé. En conséquence, Fujitsu a relativement facilement reçu un soutien complet et une assistance experte de spécialistes de l'Association japonaise de gymnastique et de la Fédération internationale de gymnastique, ainsi que d'autres organisations intéressées.

Capteurs 3D

Pour se débarrasser des marqueurs et des capteurs qui devaient être montés directement sur les athlètes, Fujitsu a décidé d'utiliser des images profondes (c'est-à-dire des images où la distance à l'objet à ce point est stockée dans chaque pixel, pas la couleur) pour l'analyse. Pour effectuer un balayage tridimensionnel des mouvements humains, le système utilise des capteurs laser tridimensionnels qui lisent des images de profondeur, qui sont les contours de la surface du corps. Après cela, la technologie de reconnaissance du squelette est appliquée aux images résultantes pour déterminer la position des articulations. Cela vous permet de calculer avec précision les angles associés à la position des coudes, des genoux, de la colonne vertébrale, etc., et d'analyser en détail les mouvements du corps en fonction d'un changement temporaire des valeurs de ces angles. Autrement dit, les juges peuvent, en s'appuyant sur le modèle obtenu par le système,déterminer si, par exemple, le dos du gymnaste était droit pendant l'exécution des éléments et décider d'une amende.

La prise de vue précise des mouvements rapides de l'athlète nécessite une fréquence d'images élevée et une méthode de collecte d'images en profondeur qui pourraient capturer tous les mouvements en haute résolution et sur de longues distances. Pour cette raison, les caméras à profondeur standard sont immédiatement tombées. Malgré le fait qu'une telle caméra reçoit des informations de profondeur à grande vitesse et haute résolution, elle ne peut le faire que sur une courte distance - pas plus de 5 mètres. Ce qui limite fortement leur utilisation sur les sites de compétition.
Avec des capteurs laser basés sur la technologie LIDAR (Light Detection and Ranging), la situation est meilleure. Ils peuvent recevoir des images en profondeur d'un objet à une distance allant jusqu'à 15 mètres, mais la vitesse de numérisation et la qualité d'image dépendent ici de la configuration du système de numérisation du côté projection et du système optique du côté détection. Par exemple, dans un système avec un miroir polygonal rotatif, après chaque ligne de balayage, le système doit attendre que le miroir tourne jusqu'à une certaine position afin de démarrer le processus de balayage suivant, ce qui réduit considérablement la vitesse.

L'utilisation de miroirs basés sur des systèmes microélectromécaniques (MEMS) peut augmenter considérablement la vitesse de balayage, mais même ici, il était nécessaire de «le modifier avec un fichier». Afin d'utiliser un système de balayage basé sur des capteurs laser et des miroirs MEMS dans le sport, il est nécessaire d'augmenter le nombre de points de balayage de plus de dix fois par rapport à la technologie LIDAR existante, ce qui signifie qu'il est nécessaire d'augmenter la vitesse de balayage des miroirs MEMS. Sinon, vous ne pourrez pas recevoir d'images haute résolution.
Par conséquent, il était nécessaire de réduire la taille du miroir MEMS à l'aide d'une lentille grossissante à angle de balayage. Si la projection et la détection de lumière sont coaxiales, la réduction de la taille du miroir MEMS, qui est également utilisé pour la détection, empêchera la réflexion de toute la lumière de la cible, réduisant ainsi la quantité de lumière sur le photodétecteur. Pour assurer une lumière détectable suffisante, Fujitsu a utilisé un système optique avec des unités de projection et de détection séparées.

La figure ci-dessous montre la configuration d'un capteur laser tridimensionnel développé par Fujitsu Laboratories, qui est équipé d'un système de projection / détection optique divisé utilisant un miroir MEMS.



Pour mesurer la distance à la cible, ce système utilise la méthode du temps de vol (ToF), qui mesure le temps entre la projection d'une impulsion laser et la détermination de sa réflexion. Après avoir noté le temps nécessaire pour projeter une impulsion laser, la réflexion de la cible et la détection sur l'unité de détection comme ΔT et la vitesse de la lumière comme c (environ 300 000 km / s), vous pouvez définir la distance d à la cible en utilisant l'équation suivante:

d = (c × Δ T) / 2

Mais les difficultés ne s'arrêtent pas là. Tout d'abord, il était important d'assurer une relative liberté de positionnement des capteurs, car il n'est pas toujours possible de les placer à une distance certaine et constante des objets, car tous les lieux de compétition sont différents. Par exemple, le capteur a reçu une image profonde d'un objet en haute résolution lorsqu'il était à courte distance. Mais si l'objet s'éloigne davantage du capteur, la résolution de l'image diminuera, à condition que l'angle de vision reste le même. Pour éviter cela, nous avons ajouté un contrôle de l'angle de vue au système.

Il a également fallu «couper» l'excès de lumière qui pénètre dans le système (lumière du soleil, projecteurs, flashs, etc.). Pour cela, une technologie de détection de lumière multi-segments a été développée, grâce à laquelle le système de balayage se synchronise avec les signaux de contrôle du miroir MEMS afin d'allumer sélectivement uniquement le photodétecteur qui reçoit la plus grande quantité de lumière réfléchie par l'objet, tout en désactivant toutes les autres qui sont affectées par la lumière ambiante .

Enfin, une synchronisation a été ajoutée entre plusieurs blocs de capteurs laser 3D pour éviter les angles morts.

Ainsi, la tâche d'obtenir des images détaillées des mouvements des athlètes en haute qualité et à grande vitesse a été résolue. Il ne reste plus qu'à les analyser.

Technologie de reconnaissance des squelettes

La technologie de reconnaissance du squelette vous permet d'extraire des données sur les positions des différentes articulations du corps humain à partir d'images profondes de capteurs 3D. Dans des sports tels que le sport et la gymnastique rythmique, le patinage artistique, la plongée, etc. Informations 3D sur la position des articulations, leurs angles doivent être extrêmement précis, car le nombre de points en dépend, ce qui détermine finalement le vainqueur.

La figure suivante montre le principe de la technologie qui offre une vitesse élevée et une précision de reconnaissance du squelette. Au stade préparatoire, le système a déjà été formé pour déterminer où se trouvent les articulations dans l'image et créer un modèle 3D de la position du corps en fonction de celles-ci, mais il apprend également dans le processus à partir des nouvelles données qu'il reçoit.



Au stade de la formation, des modèles de prévision sont créés qui dérivent les valeurs estimées des coordonnées des articulations à l'aide d'images en profondeur. Pour ce faire, des images profondes ont été créées en utilisant des graphiques informatiques à partir de mouvements précédemment obtenus avec les coordonnées des articulations pour préparer l'ensemble de formation pour l'apprentissage automatique.

Par conséquent, au stade de la reconnaissance, les images profondes multipoints obtenues à partir de plusieurs capteurs laser 3D sont superposées au modèle de prédiction créé au stade de la formation pour obtenir les coordonnées tridimensionnelles des articulations (c'est-à-dire reconnaître le squelette). A ce stade, les coordonnées obtenues des articulations sont utilisées comme valeurs initiales pour appliquer le modèle humain à un nuage de points, correspondant aux images profondes obtenues à partir de chaque capteur. Ce processus est appelé «en forme». Pour rendre les coordonnées du nuage de points aussi proches que possible des coordonnées de la surface du modèle humain utilisé pour l'ajustement, le «degré de coïncidence» (vraisemblance) est déterminé, puis les coordonnées sont recherchées avec un maximum de vraisemblance, ce qui déterminera les coordonnées tridimensionnelles finales de l'articulation.

Lors de la reconnaissance du squelette à l'aide de l'apprentissage automatique, la précision est généralement faible, car les positions des articulations sont déterminées en fonction du modèle de prédiction. Cependant, ce processus d'ajustement ultérieur améliore la précision en comparant la position des joints avec les valeurs mesurées réelles en fonction des nuages ​​de points de plusieurs capteurs laser 3D. À ce stade, la précision des valeurs mesurées dans la reconnaissance du squelette basée sur l'apprentissage automatique détermine la plage de réglage et, par conséquent, affecte la précision des résultats finaux de la reconnaissance du squelette et du temps de traitement. Afin d'augmenter la précision de la reconnaissance du squelette basée sur l'apprentissage automatique, plusieurs modèles de prévision sont en cours de préparation qui combinent des positions du corps telles que l'avant (avant), l'appui renversé (appui renversé) et l'arrière (arrière),et une méthode est appliquée qui sélectionne le modèle de prédiction optimal en déterminant la position du corps avant de reconnaître le squelette. Par rapport à la méthode de consolidation de tous les mouvements dans un modèle de prévision unique, cette méthode augmente considérablement la précision de reconnaissance en limitant les mouvements qui devraient être étudiés dans le modèle de prévision.



Cette image montre les résultats de la reconnaissance du squelette basée sur l'apprentissage automatique à l'aide de plusieurs capteurs dans les compétitions de gymnastique. Lorsque vous faites des cercles sur un cheval, un modèle de prédiction correspondant à la position avant est utilisé, et pour un saut, un modèle de prédiction correspondant à un appui renversé est utilisé. Ces résultats montrent que la commutation entre les modèles de prédiction pour différents types de position du corps permet une reconnaissance du squelette avec une grande précision même pour des mouvements complexes typiques de la gymnastique.

Implémentation et application

La première démonstration de test du système a eu lieu en octobre 2016 au Congrès de la Fédération internationale de gymnastique, après quoi les travaux ont commencé sur la mise en œuvre effective de la technologie. En octobre 2017, la première expérience de test utilisant des données réelles de compétition a été réalisée lors des 47e Championnats du monde de gymnastique à Montréal.

Lors des championnats du monde de gymnastique à Stuttgart en 2019, le système Fujitsu a été officiellement reconnu comme un outil auxiliaire pour évaluer la difficulté de la performance sous 4 formes: cheval de gymnastique, anneaux, saut (hommes et femmes).
Il convient de dire que l'utilisation du système de capteurs 3D Fujitsu ne se limite pas uniquement à l'aide des juges. Il existe de nombreux scénarios d'application potentiels.

Après les performances des gymnastes, le système apprend à reconnaître les mouvements les plus divers et les plus complexes. Par conséquent, il sera bientôt possible d'adapter son application à d'autres sports, il suffit de déterminer le modèle de prévision approprié pour chaque discipline spécifique. Cela aidera non seulement les juges à prendre des décisions plus rapidement, ce qui aura un effet bénéfique sur le nombre d'apparitions à la télévision (moins de réunions du jury - plus de temps devant les caméras pour les athlètes), mais aidera également les téléspectateurs à mieux comprendre ce qui se passe sur le terrain. Les images traitées des scanners sont excellentes pour la visualisation des moments individuels de performance (exécution d'éléments complexes, erreurs).




Les athlètes et les entraîneurs peuvent utiliser la vidéo sur le fonctionnement du système et les scénarios de son application en utilisant des modèles 3D obtenus à la suite de la numérisation pour améliorer l'équipement, optimiser l'entraînement et prévenir les blessures. De plus, un tel système ouvre de nouvelles possibilités pour l’entraînement et les consultations à distance, car les modèles du système permettent une bien meilleure compréhension de la technique de l’athlète que les vidéos conventionnelles. Dans le même temps, les mouvements humains sont présentés au format numérique, ce qui signifie que ces données peuvent être utilisées pour la recherche.

Ce scénario d'utilisation devient particulièrement pertinent dans la période actuelle. Désormais, la circulation des personnes, même entre les villes, et plus encore entre les pays, est limitée, et les athlètes ont néanmoins besoin de pratique et de consultations compétentes d'entraîneurs et d'autres spécialistes afin de ne pas perdre forme en prévision du retour à la normale de la vie sportive.

Vous pouvez également abandonner les tomes des «règles de l'arbitrage» tachetés d'illustrations statiques et de longues explications textuelles sur la façon dont le gymnaste doit effectuer l'exercice. L'avenir réside dans les applications, et sur la base des données et des modèles obtenus à partir de capteurs 3D, nous obtiendrons une excellente application pour les juges avec un ensemble de règles, des images détaillées dynamiques de la bonne technique d'exécution, ce qui permet un minimum de divergences ou de doubles interprétations.

Enfin, ils vont utiliser le système de numérisation et de reconnaissance 3D qui en résulte pour la rééducation des patients. Il permet de visualiser la restauration de la mobilité articulaire et d'ajuster correctement le traitement. Fait intéressant, cette technologie est née à l'origine du développement des laboratoires Fujitsu pour la réadaptation dans les établissements médicaux. En effet, l'histoire est cyclique.

Liens utiles

Technologie de détection 3D pour la quantification en temps réel des mouvements des athlètes
Système de soutien à la jugement basé sur les TIC pour la gymnastique artistique et un nouveau monde créé grâce à la technologie de détection 3D
"Un pas vers l'avenir" avec la première utilisation officielle de la technologie Fujitsu pour soutenir le jugement aux Championnats du monde de gymnastique artistique 2019