Cómo los láseres y los sensores ayudan a mantener nerviosos a los jueces

Hola Habr!

Evaluar el rendimiento de un atleta es una tarea que no se vuelve más fácil cada año. Las velocidades aumentan, los programas se vuelven más complicados, aparecen nuevos elementos y sus paquetes. Compare al menos las actuaciones de patinadores o gimnastas en Londres, Río, Vancouver o Sochi y los programas por los cuales sus predecesores recibieron oro hace medio siglo. La diferencia se sentirá incluso por alguien que no sigue el deporte.



¿Quiénes son los jueces? Aunque están bien versados ​​en su campo, las personas comunes y corrientes que se cansan, distraen, parpadean, ceden ante las emociones. El resultado son decisiones controvertidas, después de lo cual los fanáticos están listos para enviar a todo el panel de jueces "al jabón".
Dado que una persona no es perfecta, ¿por qué no compensar las debilidades con los últimos logros de la ciencia y la tecnología? Otro calor muerto en la línea de meta hizo que Edward Maybridge pensara que tomar una foto de los caballos que cruzaban a tiempo los salvaría de los acalorados debates y sus consecuencias igualmente candentes cuando hay mucho en juego. Comenzaron a practicar rápidamente y, por primera vez, el acabado fotográfico durante las carreras ya se usaba a fines del siglo XIX. La primera repetición de video marcará el 65 aniversario este año. Desde la década de 1970, el tenis ha estado utilizando juez de línea electrónica, un sistema computarizado que determina dónde aterrizó la pelota.

Dichos sistemas son efectivos cuando una determinada acción conduce a la victoria (cruzar la línea de meta primero, marcar la pelota en la portería, saltar por encima de los rivales, etc.), pero son casi inútiles cuando lo mejor está determinado, por ejemplo, por la técnica de realizar los elementos, su número y secuencia en el programa. Aquí necesitas algo más complicado que la simple repetición instantánea. Fujitsu ve la tecnología de sensores 3D como su solución, que permite escanear, digitalizar y evaluar en tiempo real los movimientos de los atletas. Más sobre el principio de su trabajo bajo el corte.

En mayo de 2016, Fujitsu y la Asociación de Gimnasia de Japón (JGA) firmaron un acuerdo de investigación conjunto para crear un sistema de apoyo de árbitros utilizando tecnología de reconocimiento y escaneo 3D. La JGA, por su parte, proporcionó a Fujitsu un conocimiento práctico de los jueces, datos sobre atletas, así como un entorno de prueba, mientras que Fujitsu desarrolló un prototipo de sistema de soporte de árbitros con sensores 3D.

Probablemente dirá por qué reinventar la rueda. Existe una conocida tecnología de captura de movimiento, que se ha utilizado con éxito en la industria del cine y el desarrollo de juegos. ¿Por qué no aplicarlo? La respuesta es bastante simple. Docenas de sensores del tamaño de un poco más pequeños que una pelota de ping-pong interfieren significativamente con el entrenamiento, sin mencionar dejar que los atletas entren al tatami o al campo de juego para competir por medallas. Lo intentaron, pero la aplicación de dicha tecnología generalmente se limitaba a las condiciones de laboratorio. Por supuesto, los datos recopilados podrían usarse para optimizar el entrenamiento o prevenir lesiones, pero el jurado no pudo al menos hacer la vida un poco más fácil.

El desarrollo de Internet de las cosas y la introducción de sensores IoT han traído más beneficios al arbitraje. Escondidos en el equipo, en algunas formas, como tiro con arco o taekwondo, ayudan con bastante éxito a determinar cuál de los participantes fue mejor. En tiro con arco, el sensor determina la posición de la flecha en el objetivo, en taekwondo: le permite evaluar los golpes que golpean los escudos y el casco. Aunque la idea está lejos de ser nueva, recordemos el tenis, pero con el desarrollo de IoT, hay cada vez más oportunidades para usar sensores en varias disciplinas.
Es cierto que los sensores IoT no ayudarán a crear un sistema verdaderamente universal para apoyar a los jueces. En primer lugar, para cada deporte, debe elegir su tipo de sensor y, en segundo lugar, en muchos casos, los sensores deben colocarse directamente sobre los atletas. En tercer lugar, no ayudarán en tiempo real a crear un modelo 3D del movimiento del atleta, lo que significa que no podrán aplicarse en aquellos deportes donde se evalúan los movimientos, el equipo y la complejidad de los elementos.

La elección de la gimnasia como punto de partida no es accidental. En primer lugar, la gimnasia se distingue por la mayor variedad de movimientos que realizan los atletas. Esto permitirá, a largo plazo, recopilar una gran cantidad de datos, crear una base de movimientos con un alto grado de versatilidad y utilizarla en otros deportes.
La segunda razón es más prosaica. La gimnasia es un deporte popular y bien desarrollado en Japón. Además, en el contexto del "envejecimiento" de la población japonesa (para 2035, los ancianos representarán casi un tercio de la población total del país), el gobierno apoya activamente las iniciativas destinadas a desarrollar el deporte y la atención médica. Como resultado, Fujitsu recibió relativamente fácil apoyo integral y asistencia experta de especialistas de la Asociación Japonesa de Gimnasia y de la Federación Internacional de Gimnasia, así como de otras organizaciones interesadas.

Sensores 3D

Para deshacerse de los marcadores y sensores que debían montarse directamente en los atletas, Fujitsu decidió usar imágenes profundas (es decir, imágenes donde la distancia al objeto en ese punto se almacena en cada píxel, no el color) para el análisis. Para realizar un escaneo tridimensional de los movimientos humanos, el sistema utiliza sensores láser tridimensionales que leen imágenes de profundidad, que son los contornos de la superficie del cuerpo. Después de eso, la tecnología de reconocimiento de esqueleto se aplica a las imágenes resultantes para determinar la posición de las articulaciones. Solo esto le permite calcular con precisión los ángulos asociados con la posición de los codos, las rodillas, la columna vertebral, etc., y analizar en detalle los movimientos del cuerpo en función de un cambio temporal en los valores de estos ángulos. Es decir, los jueces pueden, confiando en el modelo obtenido por el sistema,determine si, por ejemplo, la espalda de la gimnasta estaba recta durante la ejecución de los elementos y decida una multa.

El disparo preciso de los movimientos rápidos del atleta requiere una alta velocidad de fotogramas y un método para recopilar imágenes en profundidad que puedan capturar todos los movimientos en alta resolución y a largas distancias. Por esta razón, las cámaras de profundidad estándar se cayeron inmediatamente. A pesar del hecho de que dicha cámara recibe información de profundidad con alta velocidad y alta resolución, solo puede hacerlo desde una distancia corta, no más de 5 metros. Lo que limita en gran medida su uso en los sitios de competencia.
Con sensores láser basados ​​en tecnología LIDAR (detección de luz y rango), la situación es mejor. Pueden recibir imágenes en profundidad de un objeto desde una distancia de hasta 15 metros, pero la velocidad de escaneo y la calidad de la imagen aquí dependen de la configuración del sistema de escaneo en el lado de proyección y del sistema óptico en el lado de detección. Por ejemplo, en un sistema con un espejo poligonal giratorio, después de cada línea de escaneo, el sistema debe esperar a que el espejo gire a una determinada posición para comenzar el siguiente proceso de escaneo, lo que reduce en gran medida la velocidad.

El uso de espejos basados ​​en sistemas microelectromecánicos (MEMS) puede aumentar significativamente la velocidad de exploración, pero incluso aquí era necesario "modificarlo con un archivo". Para utilizar un sistema de escaneo basado en sensores láser y espejos MEMS en deportes, es necesario aumentar el número de puntos de escaneo en más de diez veces en comparación con la tecnología LIDAR existente, lo que significa que es necesario aumentar la velocidad de escaneo de los espejos MEMS. De lo contrario, no podrá recibir imágenes de alta resolución.
Por lo tanto, era necesario reducir el tamaño del espejo MEMS usando una lente de aumento del ángulo de exploración. Si la proyección y detección de luz es coaxial, la reducción del tamaño del espejo MEMS, que también se utiliza para la detección, evitará el reflejo de toda la luz del objetivo, reduciendo así la cantidad de luz en el fotodetector. Para garantizar una cantidad suficiente de luz detectable, Fujitsu utilizó un sistema óptico con unidades de detección y proyección separadas.

La siguiente figura muestra la configuración de un sensor láser tridimensional desarrollado por Fujitsu Laboratories, que está equipado con un sistema óptico de proyección / detección dividida que utiliza un espejo MEMS.



Para medir la distancia al objetivo, este sistema utiliza el método de Tiempo de vuelo (ToF), que mide el tiempo desde la proyección de un pulso láser hasta la determinación de su reflejo. Habiendo notado el tiempo requerido para proyectar un pulso láser, la reflexión desde el objetivo y la detección en la unidad de detección como ΔT y la velocidad de la luz como c (aproximadamente 300,000 km / s), puede establecer la distancia d al objetivo utilizando la siguiente ecuación:

d = (c × Δ T) / 2

Pero las dificultades no terminaron ahí. En primer lugar, era importante garantizar la relativa libertad de posicionamiento de los sensores, ya que no siempre es posible colocarlos a una distancia determinada y constante de los objetos, ya que todos los lugares para las competiciones son diferentes. Por ejemplo, el sensor recibió una imagen profunda de un objeto en alta resolución cuando estaba a corta distancia. Pero si el objeto se mueve más lejos del sensor, la resolución de la imagen disminuirá, siempre que el ángulo de visión permanezca igual. Para evitar esto, agregamos el control del ángulo de visión al sistema.

También fue necesario "cortar" el exceso de luz que ingresa al sistema (luz solar, focos, flashes de cámara, etc.). Para esto, se desarrolló una tecnología de detección de luz multisegmento, gracias a la cual el sistema de escaneo se sincroniza con las señales de control del espejo MEMS para encender selectivamente solo el fotodetector que recibe la mayor cantidad de luz reflejada por el objeto, al mismo tiempo que desactiva todos los demás que se ven afectados por la luz ambiental. .

Finalmente, se ha agregado la sincronización entre varios bloques de sensores láser 3D para evitar puntos ciegos.

Por lo tanto, la tarea de obtener imágenes en profundidad de los movimientos de los atletas en alta calidad y con alta velocidad se ha resuelto. Lo único que queda es analizarlos.

Tecnología de reconocimiento de esqueletos

La tecnología de reconocimiento de esqueleto le permite extraer datos sobre las posiciones de varias articulaciones del cuerpo humano a partir de imágenes profundas de sensores 3D. En deportes como el deporte y la gimnasia rítmica, el patinaje artístico, el buceo, etc. Información 3D sobre la posición de las articulaciones, sus ángulos deben ser extremadamente precisos, ya que el número de puntos depende de esto, lo que finalmente determina el ganador.

La siguiente figura muestra el principio de la tecnología que proporciona alta velocidad y precisión de reconocimiento de esqueletos. En la etapa preparatoria, el sistema ya ha sido entrenado para determinar dónde están las articulaciones en la imagen y crear un modelo 3D de la posición del cuerpo basado en ellas, pero también aprende en el proceso de los nuevos datos que recibe.



En la etapa de entrenamiento, se crean modelos de pronóstico que derivan los valores estimados de las coordenadas de las articulaciones utilizando imágenes en profundidad. Para hacer esto, se crearon imágenes profundas utilizando gráficos por computadora de movimientos obtenidos previamente con las coordenadas de las articulaciones para preparar el conjunto de entrenamiento para el aprendizaje automático.

Como resultado, en la etapa de reconocimiento, las imágenes profundas multipunto obtenidas de varios sensores láser 3D se superponen con el modelo de predicción creado en la etapa de entrenamiento para obtener coordenadas tridimensionales de las articulaciones (es decir, reconocer el esqueleto). En esta etapa, las coordenadas obtenidas de las articulaciones se utilizan como valores iniciales para aplicar el modelo humano a una nube de puntos, correspondiente a las imágenes profundas obtenidas de cada sensor. Este proceso se llama "ajuste". Para hacer que las coordenadas de la nube de puntos estén lo más cerca posible de las coordenadas de la superficie del modelo humano utilizado para el ajuste, se determina el "grado de coincidencia" (probabilidad), y luego se buscan las coordenadas con la máxima probabilidad, lo que determinará las coordenadas tridimensionales finales de la articulación.

Cuando se reconoce el esqueleto mediante el aprendizaje automático, la precisión suele ser baja, ya que las posiciones de las articulaciones se determinan según el modelo de predicción. Sin embargo, este proceso de ajuste posterior mejora la precisión al comparar la posición de las juntas con los valores medidos reales de acuerdo con las nubes de puntos de varios sensores láser 3D. En este momento, la precisión de los valores medidos en el reconocimiento de esqueleto basado en el aprendizaje automático determina el rango de ajuste y, por lo tanto, afecta la precisión de los resultados finales del reconocimiento de esqueleto y el tiempo de procesamiento. Para aumentar la precisión del reconocimiento del esqueleto basado en el aprendizaje automático, se están preparando varios modelos de predicción que combinan posiciones del cuerpo como la parte delantera, la posición de las manos y la parte trasera.y se aplica un método que selecciona el modelo de predicción óptimo determinando la posición del cuerpo antes de reconocer el esqueleto. En comparación con el método de consolidación de todos los movimientos en un solo modelo de pronóstico, este método aumenta significativamente la precisión del reconocimiento al limitar los movimientos que deben estudiarse en el modelo de pronóstico.



Esta imagen muestra los resultados del reconocimiento de esqueleto basado en el aprendizaje automático utilizando varios sensores en competiciones de gimnasia. Al montar círculos en un caballo, se usa un modelo de predicción correspondiente a la posición hacia adelante, y para un salto, se usa un modelo de predicción correspondiente a una parada de manos. Estos resultados muestran que cambiar entre modelos de predicción para diferentes tipos de posición corporal permite el reconocimiento del esqueleto con alta precisión incluso para movimientos complejos típicos de la gimnasia.

Implementación y Aplicación

La primera demostración de prueba del sistema se realizó en octubre de 2016 en el Congreso de la Federación Internacional de Gimnasia, luego de lo cual se comenzó a trabajar en la implementación real de la tecnología. En octubre de 2017, el primer experimento de prueba con datos reales de competencia se realizó en el 47 ° Campeonato Mundial de Gimnasia en Montreal.

En el Campeonato Mundial de Gimnasia en Stuttgart en 2019, el sistema Fujitsu fue reconocido oficialmente como una herramienta auxiliar para evaluar la dificultad de realizar en 4 formas: caballo gimnástico, anillos, bóveda (hombres y mujeres).
Vale la pena decir que el uso del sistema de sensor 3D Fujitsu no se limita solo a la ayuda de los jueces. Existen muchos posibles escenarios de aplicación.

Tras las actuaciones de gimnastas, el sistema aprende a reconocer los movimientos más diversos y complejos. Por lo tanto, pronto será posible adaptar su aplicación a otros deportes, solo es necesario determinar el modelo de pronóstico apropiado para cada disciplina específica. Esto no solo ayudará a los jueces a tomar decisiones más rápido, lo que tendrá un efecto beneficioso en la cantidad de apariciones en transmisiones de televisión (menos reuniones del jurado, más tiempo frente a las cámaras para los atletas), sino que también ayudará a los espectadores a comprender mejor lo que está sucediendo en la cancha. Las imágenes procesadas de los escáneres son excelentes para la visualización de momentos individuales de rendimiento (la ejecución de elementos complejos, errores).




Los atletas y entrenadores pueden usar el video sobre el funcionamiento del sistema y los escenarios de su aplicación utilizando modelos 3D obtenidos como resultado del escaneo para mejorar el equipo, optimizar el entrenamiento y prevenir lesiones. Además, dicho sistema abre nuevas posibilidades para el entrenamiento y las consultas remotas, ya que los modelos del sistema permiten una comprensión mucho mejor de la técnica del atleta que las grabaciones de video convencionales. Al mismo tiempo, los movimientos humanos se presentan en formato digital, lo que significa que estos datos pueden utilizarse para la investigación.

Este escenario de uso se está volviendo particularmente relevante en el período actual. Ahora el movimiento de personas, incluso entre ciudades, y aún más entre países, es limitado, y los atletas, sin embargo, necesitan práctica y consultas competentes de entrenadores y otros especialistas para no perder la forma en anticipación de cuándo la vida deportiva volverá a la normalidad.

También puede abandonar los tomos de las "reglas de arbitraje" moteadas con ilustraciones estáticas y largas explicaciones textuales de cómo la gimnasta necesita realizar el ejercicio. El futuro está en las aplicaciones, y sobre la base de los datos y modelos obtenidos de los sensores 3D, obtendremos una gran aplicación para jueces con un conjunto de reglas, imágenes dinámicas detalladas de la técnica de ejecución correcta, que permite un mínimo de discrepancias o dobles interpretaciones.

Finalmente, usarán el sistema de reconocimiento y escaneo 3D resultante para la rehabilitación de pacientes. Ayuda a visualizar la restauración de la movilidad articular y a ajustar correctamente el tratamiento. Curiosamente, esta tecnología creció originalmente del desarrollo de los Laboratorios Fujitsu para rehabilitación en instituciones médicas. De hecho, la historia es cíclica.

Enlaces útiles

Tecnología de detección 3D para la cuantificación en tiempo real de los movimientos de los atletas
Sistema de apoyo de evaluación basado en las TIC para la gimnasia artística y el nuevo mundo creado a través de la tecnología de detección 3D
"Un paso hacia el futuro" con el primer uso oficial de la tecnología Fujitsu para apoyar la evaluación en el Campeonato Mundial de Gimnasia Artística 2019