Como lasers e sensores ajudam a manter os juízes nervosos

Olá Habr!

Avaliar o desempenho de um atleta é uma tarefa que não se torna mais fácil a cada ano. As velocidades aumentam, os programas se tornam mais complicados, novos elementos e seus pacotes aparecem. Compare pelo menos a performance de skatistas ou ginastas em Londres, Rio, Vancouver ou Sochi e os programas pelos quais seus antecessores receberam ouro há meio século. A diferença será sentida mesmo por quem não segue o esporte.



Quem são os juízes? Embora sejam bem versados ​​em seu campo, as pessoas comuns que se cansam, se distraem, piscam, cedem às emoções. O resultado são decisões controversas, após as quais os fãs estão prontos para enviar todo o painel de juízes "para a novela".
Como uma pessoa não é perfeita, por que não compensar as fraquezas com as mais recentes conquistas da ciência e da tecnologia. Outro empate na linha de chegada levou Edward Maybridge à idéia de que uma foto oportuna de cavalos cruzando a linha os salvaria de um debate acalorado e de suas conseqüências igualmente quentes quando as apostas são tão altas. Eles começaram a praticar rapidamente e, pela primeira vez, o acabamento da foto durante as corridas já era usado no final do século XIX. A primeira repetição de vídeo marcará o 65º aniversário deste ano. Desde a década de 1970, o tênis usa o juiz de linha eletrônico - um sistema computadorizado que determina onde a bola caiu.

Tais sistemas são eficazes quando uma determinada ação leva à vitória (cruzar a linha de chegada primeiro, marcar a bola no gol, pular acima dos rivais, etc.), mas são quase inúteis quando o melhor é determinado, por exemplo, pela técnica de executar os elementos, seu número e sequência em o programa. Aqui você precisa de algo mais complicado que o simples Instant Replay. A Fujitsu vê a tecnologia de sensores 3D como sua solução, que permite digitalizar em tempo real, digitalizar e avaliar os movimentos dos atletas. Mais sobre o princípio de seu trabalho sob o corte.

Em maio de 2016, a Fujitsu e a Associação de Ginástica do Japão (JGA) firmaram um acordo de pesquisa conjunto para criar um sistema de apoio ao árbitro usando a tecnologia de digitalização e reconhecimento 3D. A JGA, por sua vez, forneceu à Fujitsu conhecimento prático dos juízes, dados sobre atletas e um ambiente de testes, enquanto a Fujitsu desenvolveu um sistema de suporte de árbitro protótipo usando sensores 3D.

Você provavelmente dirá por que reinventar a roda. Existe uma tecnologia de captura de movimento bem conhecida, que tem sido usada com sucesso na indústria cinematográfica e no desenvolvimento de jogos. Por que não aplicá-lo? A resposta é muito simples. Dezenas de sensores um pouco menores que uma bola de pingue-pongue interferem significativamente durante o treinamento, sem falar em deixar os atletas saírem no tatami ou no campo de jogo para competir por medalhas. Eles tentaram, mas a aplicação dessa tecnologia era geralmente limitada às condições do laboratório. Obviamente, os dados coletados poderiam ser usados ​​para otimizar o treinamento ou prevenir lesões, mas o júri não foi capaz de, pelo menos, tornar a vida um pouco mais fácil.

O desenvolvimento da Internet das coisas e a introdução de sensores de IoT trouxeram mais benefícios à arbitragem. Escondidos em equipamentos, de algumas formas, como arco e flecha ou taekwondo, eles ajudam com sucesso a determinar qual dos participantes foi melhor. No arco e flecha, o sensor determina a posição da flecha no alvo, no taekwondo - permite avaliar os golpes que atingem os escudos e o capacete. Embora a idéia esteja longe de ser nova, lembremos do tênis, mas com o desenvolvimento da IoT, há cada vez mais oportunidades para o uso de sensores em várias disciplinas.
É verdade que os sensores da IoT não ajudarão a criar um sistema verdadeiramente universal para apoiar os juízes. Primeiramente, para cada esporte, você deve escolher seu tipo de sensor e, em segundo lugar, em muitos casos, os sensores devem ser colocados diretamente nos atletas. Em terceiro lugar, eles não ajudarão em tempo real a criar um modelo 3D do movimento do atleta, o que significa que não poderão ser aplicados nos esportes em que os movimentos, o equipamento e a complexidade dos elementos forem avaliados.

A escolha da ginástica como ponto de partida não é acidental. Em primeiro lugar, a ginástica se distingue pela maior variedade de movimentos que os atletas fazem. Isso permitirá, a longo prazo, coletar uma grande quantidade de dados, criar uma base de movimentos com alto grau de versatilidade e usá-la em outros esportes.
A segunda razão é mais prosaica. A ginástica é um esporte popular e bem desenvolvido no Japão. Além disso, no contexto do "envelhecimento" da população japonesa (em 2035, os idosos serão responsáveis ​​por quase um terço da população total do país), o governo apóia ativamente iniciativas voltadas ao desenvolvimento de esportes e cuidados de saúde. Como resultado, a Fujitsu recebeu com relativa facilidade um suporte abrangente e assistência especializada de especialistas da Associação Japonesa de Ginástica e da Federação Internacional de Ginástica, bem como de outras organizações interessadas.

Sensores 3D

Para se livrar dos marcadores e sensores que precisavam ser montados diretamente nos atletas, a Fujitsu decidiu usar imagens profundas (ou seja, imagens em que a distância do objeto naquele ponto é armazenada em cada pixel, não na cor) para análise. Para realizar a varredura tridimensional dos movimentos humanos, o sistema usa sensores a laser tridimensionais que leem imagens de profundidade, que são os contornos da superfície do corpo. Depois disso, a tecnologia de reconhecimento de esqueleto é aplicada às imagens resultantes para determinar a posição das articulações. Apenas isso permite calcular com precisão os ângulos associados à posição dos cotovelos, joelhos, coluna vertebral, etc., e analisar detalhadamente os movimentos do corpo com base em uma mudança temporária nos valores desses ângulos. Ou seja, os juízes podem, contando com o modelo obtido pelo sistema,determinar se, por exemplo, as costas da ginasta estavam retas durante a execução dos elementos e decidir sobre uma multa.

O disparo preciso dos movimentos rápidos do atleta exige uma alta taxa de quadros e um método para coletar imagens detalhadas que podem capturar todos os movimentos em alta resolução e por longas distâncias. Por esse motivo, as câmeras padrão de profundidade caíram imediatamente. Apesar do fato de que essa câmera recebe informações de profundidade com alta velocidade e alta resolução, ela pode fazer isso apenas a uma curta distância - não mais que 5 metros. O que limita bastante seu uso nos sites de competição.
Com sensores a laser baseados na tecnologia LIDAR (detecção e variação de luz), a situação é melhor. Eles podem receber imagens profundas de um objeto a uma distância de até 15 metros, mas a velocidade e a qualidade da imagem aqui dependem da configuração do sistema de digitalização no lado da projeção e do sistema óptico no lado da detecção. Por exemplo, em um sistema com um espelho poligonal rotativo, após cada linha de varredura, o sistema deve aguardar o espelho girar para uma determinada posição para iniciar o próximo processo de varredura, o que reduz bastante a velocidade.

O uso de espelhos baseados em sistemas microeletromecânicos (MEMS) pode aumentar significativamente a velocidade de varredura, mas mesmo aqui era necessário “modificá-lo com um arquivo”. Para usar um sistema de varredura baseado em sensores a laser e espelhos MEMS no esporte, é necessário aumentar o número de pontos de varredura em mais de dez vezes em comparação com a tecnologia LIDAR existente, o que significa que é necessário aumentar a velocidade de varredura dos espelhos MEMS. Caso contrário, você não poderá receber imagens de alta resolução.
Portanto, foi necessário reduzir o tamanho do espelho MEMS usando uma lente de aumento de ângulo de digitalização. Se a projeção e a detecção de luz forem coaxiais, a redução do tamanho do espelho MEMS, que também é usado para detecção, impedirá o reflexo de toda a luz do alvo, reduzindo a quantidade de luz no fotodetector. Para garantir luz detectável suficiente, a Fujitsu usou um sistema óptico com unidades de projeção e detecção separadas.

A figura abaixo mostra a configuração de um sensor a laser tridimensional desenvolvido pela Fujitsu Laboratories, equipado com um sistema de projeção / detecção de divisão óptica usando um espelho MEMS.



Para medir a distância ao alvo, este sistema usa o método Time of Flight (ToF), que mede o tempo desde a projeção de um pulso de laser até a determinação de sua reflexão. Tendo anotado o tempo necessário para projetar um pulso de laser, a reflexão do alvo e a detecção na unidade de detecção como ΔT e a velocidade da luz como c (aproximadamente 300.000 km / s), você pode definir a distância d ao alvo usando a seguinte equação:

d = (c × Δ T) / 2

Mas as dificuldades não terminaram aí. Primeiramente, era importante garantir relativa liberdade de posicionamento dos sensores, pois nem sempre é possível defini-los a uma certa e constante distância dos objetos, porque todos os locais de competição são diferentes. Por exemplo, o sensor recebeu uma imagem profunda de um objeto em alta resolução quando estava a curta distância. Mas se o objeto se afastar do sensor, a resolução da imagem cairá, desde que o ângulo de visão permaneça o mesmo. Para evitar isso, adicionamos o controle do ângulo de visão ao sistema.

Também era necessário "cortar" o excesso de luz que entra no sistema (luz do sol, refletores, flashes da câmera etc.). Para isso, foi desenvolvida uma tecnologia de detecção de luz multissegmento, graças à qual o sistema de digitalização sincroniza com os sinais de controle de espelho MEMS para ativar seletivamente apenas o fotodetector que recebe a maior quantidade de luz refletida no objeto, enquanto desativa todos os outros que são afetados pela luz ambiente .

Finalmente, a sincronização foi adicionada entre vários blocos de sensores a laser 3D para evitar pontos cegos.

Assim, a tarefa de obter imagens detalhadas dos movimentos dos atletas em alta qualidade e alta velocidade foi resolvida. A única coisa que resta é analisá-los.

Tecnologia de reconhecimento de esqueleto

A tecnologia de reconhecimento de esqueleto permite extrair dados sobre as posições de várias articulações do corpo humano a partir de imagens profundas de sensores 3D. Em esportes como esportes e ginástica rítmica, patinação artística, mergulho, etc. Informações 3D sobre a posição das articulações, seus ângulos devem ser extremamente precisos, pois o número de pontos depende disso, o que determina o vencedor.

A figura a seguir mostra o princípio da tecnologia que fornece alta velocidade e precisão no reconhecimento do esqueleto. No estágio preparatório, o sistema já foi treinado para determinar onde as articulações estão na imagem e criar um modelo 3D da posição do corpo com base nelas, mas também aprende no processo com os novos dados que recebe.



Na fase de treinamento, são criados modelos de previsão que derivam os valores estimados das coordenadas das articulações usando imagens detalhadas. Para isso, foram criadas imagens profundas usando gráficos de computador de movimentos obtidos anteriormente com as coordenadas das juntas para preparar o conjunto de treinamento para o aprendizado de máquina.

Como resultado, no estágio de reconhecimento, as imagens profundas multiponto obtidas de vários sensores a laser 3D são sobrepostas ao modelo de previsão criado no estágio de treinamento para obter coordenadas tridimensionais das articulações (isto é, reconhecer o esqueleto). Nesse estágio, as coordenadas obtidas das articulações são usadas como valores iniciais para aplicar o modelo humano a uma nuvem de pontos, correspondendo às imagens profundas obtidas de cada sensor. Esse processo é chamado de "ajuste". Para tornar as coordenadas da nuvem de pontos o mais próximo possível das coordenadas da superfície do modelo humano usado para o ajuste, é determinado o "grau de coincidência" (probabilidade) e, em seguida, as coordenadas são pesquisadas com a máxima probabilidade, o que determinará as coordenadas tridimensionais finais da junta.

Ao reconhecer o esqueleto usando o aprendizado de máquina, a precisão geralmente é baixa, pois as posições das juntas são determinadas com base no modelo de previsão. No entanto, esse processo de montagem subsequente melhora a precisão comparando a posição das juntas com os valores reais medidos de acordo com as nuvens de pontos de vários sensores a laser 3D. Nesse momento, a precisão dos valores medidos no reconhecimento de esqueleto com base no aprendizado de máquina determina a faixa de ajuste e, portanto, afeta a precisão dos resultados finais do reconhecimento de esqueleto e do tempo de processamento. Para aumentar a precisão do reconhecimento do esqueleto com base no aprendizado de máquina, vários modelos de previsão estão sendo preparados que combinam posições corporais como a frente (frente), o pino (pino) e a parte traseira (traseira),e é aplicado um método que seleciona o modelo de previsão ideal, determinando a posição do corpo antes de reconhecer o esqueleto. Comparado ao método de consolidação de todos os movimentos em um único modelo de previsão, esse método aumenta significativamente a precisão do reconhecimento, limitando os movimentos que devem ser estudados no modelo de previsão.



Esta imagem mostra os resultados do reconhecimento de esqueleto com base no aprendizado de máquina usando vários sensores em competições de ginástica. Ao andar em círculos em um cavalo, um modelo de previsão correspondente à posição para frente é usado e, para um salto, um modelo de previsão correspondente a um pino é usado. Esses resultados mostram que a alternância entre modelos de previsão para diferentes tipos de posição corporal permite o reconhecimento do esqueleto com alta precisão, mesmo para movimentos complexos típicos da ginástica.

Implementação e Aplicação

A primeira demonstração de teste do sistema foi realizada em outubro de 2016 no Congresso da Federação Internacional de Ginástica, após o qual começaram os trabalhos sobre a implementação real da tecnologia. Em outubro de 2017, o primeiro experimento de teste com dados reais da competição foi realizado no 47º Campeonato Mundial de Ginástica em Montreal.

No Campeonato Mundial de Ginástica em Stuttgart em 2019, o sistema Fujitsu foi oficialmente reconhecido como uma ferramenta auxiliar para avaliar a dificuldade de desempenho em quatro formas: cavalo de ginástica, anéis, abóbada (homens e mulheres).
Vale dizer que o uso do sistema de sensor 3D Fujitsu não se limita apenas à ajuda dos juízes. Existem muitos cenários de aplicativos em potencial.

Após o desempenho das ginastas, o sistema aprende a reconhecer os movimentos mais diversos e complexos. Portanto, em breve será possível adaptar sua aplicação a outros esportes, apenas é necessário determinar o modelo de previsão adequado para cada disciplina específica. Isso não apenas ajudará os juízes a tomar decisões mais rapidamente, o que terá um efeito benéfico no número de aparições nas transmissões de televisão (menos reuniões do júri - mais tempo na frente das câmeras para os atletas), mas também ajudará os espectadores a entender melhor o que está acontecendo na quadra. As imagens processadas dos scanners são excelentes para a visualização de momentos individuais de desempenho (execução de elementos complexos, erros).




Atletas e treinadores podem usar o vídeo sobre a operação do sistema e os cenários de sua aplicação usando modelos 3D obtidos como resultado da digitalização para melhorar o equipamento, otimizar o treinamento e evitar lesões. Além disso, esse sistema abre novas possibilidades para treinamento e consultas remotas, uma vez que os modelos do sistema permitem uma compreensão muito melhor da técnica do atleta do que os vídeos convencionais. Ao mesmo tempo, os movimentos humanos são apresentados em formato digital, o que significa que esses dados podem ser usados ​​para pesquisas.

Esse cenário de uso está se tornando particularmente relevante no período atual. Agora, o movimento de pessoas, mesmo entre cidades, e mais ainda entre países, é limitado, e os atletas, no entanto, precisam de prática e consultas competentes de treinadores e outros especialistas para não perder a forma em antecipação de quando a vida esportiva voltará ao normal.

Você também pode abandonar os tomos das “regras de arbitragem” manchadas de ilustrações estáticas e longas explicações textuais de como o ginasta precisa realizar o exercício. O futuro está nas aplicações e, com base em dados e modelos obtidos a partir de sensores 3D, obteremos uma ótima aplicação para juízes com um conjunto de regras, imagens dinâmicas detalhadas da técnica de execução correta, o que permite um mínimo de discrepâncias ou interpretações duplas.

Finalmente, eles vão usar o sistema de reconhecimento e digitalização 3D resultante para a reabilitação de pacientes. Ajuda a visualizar a restauração da mobilidade articular e a ajustar corretamente o tratamento. Curiosamente, essa tecnologia cresceu originalmente a partir do desenvolvimento dos Laboratórios Fujitsu para reabilitação em instituições médicas. De fato, a história é cíclica.

Links úteis

Tecnologia de detecção 3D para quantificação em tempo real dos movimentos dos atletas
Sistema de apoio à julgamento baseado em TIC para ginástica artística e novo mundo pretendido criado por meio da tecnologia de detecção 3D
"Um passo em direção ao futuro" com o primeiro uso oficial da tecnologia Fujitsu para apoiar o julgamento no Campeonato Mundial de Ginástica Artística de 2019