Wie Laser und Sensoren die Richter nervös machen

Hallo Habr!

Die Leistung eines Athleten zu bewerten, ist eine Aufgabe, die nicht jedes Jahr einfacher wird. Die Geschwindigkeit steigt, Programme werden komplizierter, neue Elemente und ihre Bündel erscheinen. Vergleichen Sie zumindest die Leistungen von Skatern oder Turnern in London, Rio, Vancouver oder Sotschi mit den Programmen, für die ihre Vorgänger vor einem halben Jahrhundert Gold erhalten haben. Der Unterschied wird auch von jemandem gespürt, der dem Sport nicht folgt.



Wer sind die Richter? Obwohl sie sich auf ihrem Gebiet gut auskennen, geben gewöhnliche Menschen, die müde, abgelenkt, blinzeln, Emotionen nach. Das Ergebnis sind kontroverse Entscheidungen, nach denen die Fans bereit sind, die gesamte Jury „zur Seife“ zu schicken.
Da ein Mensch nicht perfekt ist, können Sie die Schwächen mit den neuesten Errungenschaften aus Wissenschaft und Technologie ausgleichen. Eine weitere tote Hitze an der Ziellinie führte Edward Maybridge auf die Idee, dass ein rechtzeitiges Foto von Pferden, die die Linie überqueren, sie vor hitzigen Debatten und ihren ebenso heißen Konsequenzen bewahren würde, wenn der Einsatz so hoch ist. Sie begannen schnell zu trainieren und zum ersten Mal wurde das Fotofinish während der Rennen bereits Ende des 19. Jahrhunderts verwendet. Die erste Video-Wiedergabe wird dieses Jahr das 65-jährige Jubiläum feiern. Seit den 1970er Jahren verwendet Tennis den elektronischen Linienrichter - ein computergestütztes System, das bestimmt, wo der Ball gelandet ist.

Solche Systeme sind effektiv, wenn eine bestimmte Aktion zum Sieg führt (zuerst die Ziellinie überqueren, den Ball ins Tor schießen, über Rivalen springen usw.), aber sie sind fast nutzlos, wenn das Beste zum Beispiel durch die Technik der Ausführung der Elemente, ihre Anzahl und Reihenfolge bestimmt wird das Programm. Hier brauchen Sie etwas Komplizierteres als einfache Sofortwiedergabe. Fujitsu sieht in der 3D-Sensortechnologie seine Lösung, mit der die Bewegungen von Athleten in Echtzeit gescannt, digitalisiert und ausgewertet werden können. Mehr über das Prinzip seiner Arbeit unter dem Schnitt.

Im Mai 2016 haben Fujitsu und die Japan Gymnastics Association (JGA) eine gemeinsame Forschungsvereinbarung geschlossen, um ein Schiedsrichterunterstützungssystem mit 3D-Scan- und Erkennungstechnologie zu schaffen. Die JGA ihrerseits versorgte Fujitsu mit praktischem Wissen der Richter, Daten zu Athleten sowie einer Testumgebung, während Fujitsu einen Prototyp eines Schiedsrichterunterstützungssystems mit 3D-Sensoren entwickelte.

Sie werden wahrscheinlich sagen, warum Sie das Rad neu erfinden. Es gibt eine bekannte Motion-Capture-Technologie, die seit langem erfolgreich in der Filmindustrie und in der Spieleentwicklung eingesetzt wird. Warum nicht anwenden? Die Antwort ist ziemlich einfach. Dutzende von Sensoren, die etwas kleiner als ein Tischtennisball sind, stören während des Trainings erheblich, ganz zu schweigen davon, dass Athleten auf der Tatami oder auf dem Spielfeld um Medaillen kämpfen müssen. Sie versuchten es, aber die Anwendung dieser Technologie war normalerweise auf Laborbedingungen beschränkt. Natürlich könnten die gesammelten Daten verwendet werden, um das Training zu optimieren oder Verletzungen vorzubeugen, aber die Jury konnte das Leben zumindest nicht ein bisschen einfacher machen.

Die Entwicklung des Internet der Dinge und die Einführung von IoT-Sensoren haben dem Schiedsrichter mehr Vorteile gebracht. Versteckt in Geräten, in einigen Formen wie Bogenschießen oder Taekwondo, helfen sie recht erfolgreich dabei, festzustellen, welcher der Teilnehmer besser war. Beim Bogenschießen bestimmt der Sensor die Position des Pfeils im Ziel. In Taekwondo können Sie die Schläge bewerten, die auf die Schilde und den Helm treffen. Obwohl die Idee alles andere als neu ist, erinnern wir uns an Tennis, aber mit der Entwicklung des IoT gibt es immer mehr Möglichkeiten, Sensoren in verschiedenen Disziplinen einzusetzen.
Es stimmt, IoT-Sensoren werden nicht dazu beitragen, ein wirklich universelles System zur Unterstützung von Richtern zu schaffen. Erstens müssen Sie für jede Sportart Ihren eigenen Sensortyp auswählen, und zweitens müssen in vielen Fällen Sensoren direkt an den Athleten angebracht werden. Drittens helfen sie nicht in Echtzeit, ein 3D-Modell der Bewegung des Athleten zu erstellen, was bedeutet, dass sie nicht in Sportarten angewendet werden können, in denen Bewegungen, Ausrüstung und Komplexität von Elementen bewertet werden.

Die Wahl der Gymnastik als Ausgangspunkt ist kein Zufall. Erstens zeichnet sich Gymnastik durch die größte Vielfalt an Bewegungen aus, die Sportler ausführen. Auf diese Weise können langfristig große Datenmengen erfasst, eine darauf basierende Bewegungsbasis mit einem hohen Maß an Vielseitigkeit erstellt und in anderen Sportarten verwendet werden.
Der zweite Grund ist prosaischer. Gymnastik ist in Japan eine beliebte und gut entwickelte Sportart. Vor dem Hintergrund der "Alterung" der japanischen Bevölkerung (bis 2035 werden fast ein Drittel der Gesamtbevölkerung des Landes auf ältere Menschen entfallen) unterstützt die Regierung aktiv Initiativen zur Entwicklung von Sport und Gesundheitsversorgung. Infolgedessen erhielt Fujitsu relativ leicht umfassende Unterstützung und fachkundige Unterstützung von Spezialisten der japanischen Turnvereinigung und des Internationalen Gymnastikverbandes sowie von anderen interessierten Organisationen.

3D-Sensoren

Um Marker und Sensoren zu entfernen, die direkt an Sportlern angebracht werden mussten, entschied sich Fujitsu für die Analyse, tiefe Bilder (dh Bilder, bei denen der Abstand zum Objekt an diesem Punkt in jedem Pixel und nicht in der Farbe gespeichert ist) zu verwenden. Um das dreidimensionale Scannen menschlicher Bewegungen durchzuführen, verwendet das System dreidimensionale Lasersensoren, die Tiefenbilder lesen, die die Konturen der Körperoberfläche darstellen. Danach wird die Skeletterkennungstechnologie auf die resultierenden Bilder angewendet, um die Position der Gelenke zu bestimmen. Auf diese Weise können Sie die Winkel, die mit der Position der Ellbogen, Knie, Wirbelsäule usw. verbunden sind, genau berechnen und die Körperbewegungen anhand einer vorübergehenden Änderung der Werte dieser Winkel detailliert analysieren. Das heißt, Richter können sich auf das vom System erhaltene Modell verlassen,Stellen Sie beispielsweise fest, ob der Rücken des Turners während der Ausführung der Elemente gerade war, und entscheiden Sie sich für eine Geldstrafe.

Das genaue Aufnehmen der schnellen Bewegungen des Athleten erfordert eine hohe Bildrate und eine Methode zum Sammeln von Tiefenbildern, mit denen alle Bewegungen in hoher Auflösung und über große Entfernungen erfasst werden können. Aus diesem Grund fielen Standardtiefenkameras sofort ab. Trotz der Tatsache, dass eine solche Kamera Tiefeninformationen mit hoher Geschwindigkeit und hoher Auflösung empfängt, kann sie dies nur aus kurzer Entfernung tun - nicht mehr als 5 Meter. Das schränkt ihre Verwendung auf den Wettbewerbsseiten stark ein.
Mit Lasersensoren auf Basis der LIDAR-Technologie (Light Detection and Ranging) ist die Situation besser. Sie können Tiefenbilder eines Objekts aus einer Entfernung von bis zu 15 Metern empfangen, aber die Abtastgeschwindigkeit und Bildqualität hängen hier von der Konfiguration des Abtastsystems auf der Projektionsseite und des optischen Systems auf der Erfassungsseite ab. In einem System mit einem rotierenden polygonalen Spiegel muss das System beispielsweise nach jeder Scanlinie warten, bis sich der Spiegel in eine bestimmte Position dreht, um den nächsten Scanvorgang zu starten, wodurch die Geschwindigkeit erheblich verringert wird.

Die Verwendung von Spiegeln, die auf mikroelektromechanischen Systemen (MEMS) basieren, kann die Abtastgeschwindigkeit erheblich erhöhen, aber auch hier war es notwendig, „sie mit einer Datei zu modifizieren“. Um ein auf Lasersensoren und MEMS-Spiegeln basierendes Scansystem im Sport einsetzen zu können, muss die Anzahl der Scanpunkte im Vergleich zur bestehenden LIDAR-Technologie um mehr als das Zehnfache erhöht werden, was bedeutet, dass die Scangeschwindigkeit von MEMS-Spiegeln erhöht werden muss. Andernfalls können Sie keine hochauflösenden Bilder empfangen.
Daher war es notwendig, die Größe des MEMS-Spiegels unter Verwendung einer Abtastwinkelvergrößerungslinse zu reduzieren. Wenn Projektion und Lichtdetektion koaxial sind, wird durch Verringern der Größe des MEMS-Spiegels, der auch zur Erkennung verwendet wird, die Reflexion des gesamten Lichts vom Ziel verhindert, wodurch die Lichtmenge auf dem Fotodetektor verringert wird. Um ausreichend nachweisbares Licht zu gewährleisten, verwendete Fujitsu ein optisches System mit separaten Projektions- und Erkennungseinheiten.

Die folgende Abbildung zeigt die Konfiguration eines von Fujitsu Laboratories entwickelten dreidimensionalen Lasersensors, der mit einem optischen Split-Projektions- / Detektionssystem unter Verwendung eines MEMS-Spiegels ausgestattet ist.



Um die Entfernung zum Ziel zu messen, verwendet dieses System die Flugzeitmethode (ToF), mit der die Zeit von der Projektion eines Laserpulses bis zur Bestimmung seiner Reflexion gemessen wird. Nachdem Sie die für die Projektion eines Laserpulses, die Reflexion vom Ziel und die Erfassung auf der Erfassungseinheit erforderliche Zeit als ΔT und die Lichtgeschwindigkeit als c (ungefähr 300.000 km / s) notiert haben, können Sie den Abstand d zum Ziel mithilfe der folgenden Gleichung einstellen:

d = (c × Δ T) / 2

Aber die Schwierigkeiten endeten nicht dort. Erstens war es wichtig, die relative Positionierungsfreiheit der Sensoren zu gewährleisten, da es nicht immer möglich ist, sie in einem bestimmten und konstanten Abstand zu Objekten einzustellen, da alle Austragungsorte für Wettbewerbe unterschiedlich sind. Beispielsweise empfing der Sensor ein tiefes Bild eines Objekts in hoher Auflösung, wenn es sich im Nahbereich befand. Wenn sich das Objekt jedoch weiter vom Sensor entfernt, sinkt die Bildauflösung, sofern der Betrachtungswinkel gleich bleibt. Um dies zu vermeiden, haben wir dem System die Steuerung des Betrachtungswinkels hinzugefügt.

Es war auch notwendig, das überschüssige Licht, das in das System eintritt (Sonnenlicht, Scheinwerfer, Kamerablitze usw.), „abzuschneiden“. Zu diesem Zweck wurde eine Mehrsegment-Lichtdetektionstechnologie entwickelt, mit der das Scansystem mit den MEMS-Spiegelsteuersignalen synchronisiert wird, um selektiv nur den Fotodetektor einzuschalten, der die größte vom Objekt reflektierte Lichtmenge empfängt, und alle anderen vom Umgebungslicht betroffenen zu deaktivieren .

Schließlich wurde eine Synchronisation zwischen mehreren Blöcken von 3D-Lasersensoren hinzugefügt, um tote Winkel zu vermeiden.

Damit ist die Aufgabe gelöst, detaillierte Bilder der Bewegungen von Sportlern in hoher Qualität und mit hoher Geschwindigkeit zu erhalten. Sie müssen sie nur noch analysieren.

Skeletterkennungstechnologie

Mit der Skeletterkennungstechnologie können Sie Daten über die Positionen verschiedener Gelenke des menschlichen Körpers aus tiefen Bildern von 3D-Sensoren extrahieren. Bei Sportarten wie Sport und rhythmischer Gymnastik, Eiskunstlauf, Tauchen usw. 3D-Informationen über die Position der Gelenke sollten ihre Winkel äußerst genau sein, da die Anzahl der Punkte davon abhängt, was letztendlich den Gewinner bestimmt.

Die folgende Abbildung zeigt das Prinzip der Technologie, die eine hohe Geschwindigkeit und Genauigkeit der Skeletterkennung bietet. In der Vorbereitungsphase wurde das System bereits geschult, um festzustellen, wo sich die Gelenke im Bild befinden, und daraus ein 3D-Modell der Körperposition zu erstellen. Dabei lernt es jedoch auch aus den neuen Daten, die es erhält.



In der Trainingsphase werden Vorhersagemodelle erstellt, die die geschätzten Werte der Koordinaten der Gelenke anhand von Tiefenbildern ableiten. Zu diesem Zweck wurden tiefe Bilder unter Verwendung von Computergrafiken aus zuvor erhaltenen Bewegungen mit den Koordinaten der Gelenke erstellt, um den Trainingssatz für das maschinelle Lernen vorzubereiten.

Infolgedessen werden in der Erkennungsstufe die von mehreren 3D-Lasersensoren erhaltenen Mehrpunkt-Tiefenbilder mit dem in der Trainingsphase erstellten Vorhersagemodell überlagert, um dreidimensionale Koordinaten der Gelenke zu erhalten (d. H. Das Skelett zu erkennen). In diesem Stadium werden die erhaltenen Koordinaten der Gelenke als Anfangswerte zum Anwenden des menschlichen Modells auf eine Punktwolke verwendet, die den von jedem Sensor erhaltenen tiefen Bildern entsprechen. Dieser Vorgang wird als "fit" bezeichnet. Um die Koordinaten der Punktwolke so nah wie möglich an den Koordinaten der Oberfläche des für die Anpassung verwendeten menschlichen Modells zu halten, wird der „Übereinstimmungsgrad“ (Wahrscheinlichkeit) bestimmt, und dann werden die Koordinaten mit maximaler Wahrscheinlichkeit gesucht, wodurch die endgültigen dreidimensionalen Koordinaten des Gelenks bestimmt werden.

Wenn das Skelett durch maschinelles Lernen erkannt wird, ist die Genauigkeit normalerweise gering, da die Positionen der Gelenke basierend auf dem Vorhersagemodell bestimmt werden. Dieser nachfolgende Anpassungsprozess verbessert jedoch die Genauigkeit, indem die Positionen der Gelenke mit den tatsächlichen Messwerten gemäß Punktwolken von mehreren 3D-Lasersensoren verglichen werden. Zu diesem Zeitpunkt bestimmt die Genauigkeit der gemessenen Werte bei der Skeletterkennung basierend auf maschinellem Lernen den Einstellbereich und beeinflusst daher die Genauigkeit der Endergebnisse der Skeletterkennung und der Verarbeitungszeit. Um die Genauigkeit der Skeletterkennung basierend auf maschinellem Lernen zu erhöhen, werden verschiedene Prognosemodelle erstellt, die Körperpositionen wie vorne (vorne), Handstand (Handstand) und hinten (hinten) kombinieren.und ein Verfahren wird angewendet, das das optimale Vorhersagemodell durch Bestimmen der Position des Körpers vor dem Erkennen des Skeletts auswählt. Im Vergleich zur Methode zur Konsolidierung aller Bewegungen in einem einzigen Prognosemodell verbessert diese Methode die Erkennungsgenauigkeit erheblich, indem die Bewegungen begrenzt werden, die im Prognosemodell untersucht werden sollen.



Dieses Bild zeigt die Ergebnisse der Skeletterkennung basierend auf maschinellem Lernen unter Verwendung mehrerer Sensoren bei Turnwettbewerben. Beim Reiten auf einem Pferd wird das der Vorwärtsposition entsprechende Vorhersagemodell verwendet, und für den Sprung wird das dem Handstand entsprechende Vorhersagemodell verwendet. Diese Ergebnisse zeigen, dass das Umschalten zwischen Vorhersagemodellen für verschiedene Arten von Körperpositionen eine Skeletterkennung mit hoher Genauigkeit ermöglicht, selbst bei komplexen Bewegungen, die für Gymnastik typisch sind.

Implementierung und Anwendung

Die erste Testdemonstration des Systems fand im Oktober 2016 auf dem Kongress der International Gymnastics Federation statt. Danach begannen die Arbeiten zur tatsächlichen Implementierung der Technologie. Im Oktober 2017 wurde bei der 47. Turn-Weltmeisterschaft in Montreal das erste Testexperiment mit tatsächlichen Wettkampfdaten durchgeführt.

Bei den Turn-Weltmeisterschaften in Stuttgart im Jahr 2019 wurde das Fujitsu-System offiziell als Hilfsmittel zur Beurteilung der Schwierigkeit anerkannt, in vier Formen aufzutreten: Gymnastikpferd, Ringe, Gewölbe (Männer und Frauen).
Es ist erwähnenswert, dass die Verwendung des Fujitsu 3D-Sensorsystems nicht nur auf die Hilfe von Richtern beschränkt ist. Es gibt viele mögliche Anwendungsszenarien.

Nach den Leistungen der Turner lernt das System, die unterschiedlichsten und komplexesten Bewegungen zu erkennen. Daher wird es bald möglich sein, seine Anwendung an andere Sportarten anzupassen. Es ist lediglich erforderlich, das geeignete Prognosemodell für jede spezifische Disziplin zu bestimmen. Dies wird nicht nur den Richtern helfen, Entscheidungen schneller zu treffen, was sich positiv auf die Anzahl der Auftritte in Fernsehsendungen auswirkt (weniger Jurysitzungen - mehr Zeit vor Kameras für Sportler), sondern auch den Zuschauern helfen, besser zu verstehen, was auf dem Platz passiert. Verarbeitete Bilder von Scannern eignen sich hervorragend zur Visualisierung einzelner Leistungsmomente (Ausführung komplexer Elemente, Fehler).




Athleten und Trainer können das Video über den Betrieb des Systems und die Anwendungsszenarien des Systems mithilfe von 3D-Modellen verwenden, die beim Scannen erhalten wurden, um die Ausrüstung zu verbessern, das Training zu optimieren und Verletzungen vorzubeugen. Ein solches System eröffnet auch neue Möglichkeiten für Ferntraining und Konsultationen, da die Modelle des Systems ein viel besseres Verständnis der Technik des Athleten ermöglichen als herkömmliche Videoaufnahmen. Gleichzeitig werden menschliche Bewegungen in digitalem Format dargestellt, so dass diese Daten für Forschungszwecke verwendet werden können.

Dieses Nutzungsszenario wird in der aktuellen Periode besonders relevant. Jetzt ist die Bewegung von Menschen sogar zwischen Städten und vor allem zwischen Ländern begrenzt, und Sportler benötigen dennoch Übung und kompetente Beratung durch Trainer und andere Spezialisten, um nicht die Form zu verlieren, wenn sich das Sportleben wieder normalisiert.

Sie können auch die Bände der „Schiedsrichterregeln“ aufgeben, die mit statischen Abbildungen und ausführlichen Texterklärungen über die Art und Weise, wie der Turner die Übung durchführen muss, gesprenkelt sind. Die Zukunft liegt in den Anwendungen, und auf der Grundlage von Daten und Modellen, die von 3D-Sensoren erhalten wurden, erhalten wir eine großartige Anwendung für Richter mit einer Reihe von Regeln, dynamischen Detailbildern der richtigen Ausführungstechnik, die ein Minimum an Diskrepanzen oder Doppelinterpretationen zulässt.

Schließlich werden sie das resultierende 3D-Scan- und Erkennungssystem für die Rehabilitation von Patienten verwenden. Es hilft, die Wiederherstellung der Beweglichkeit der Gelenke zu visualisieren und die Behandlung richtig anzupassen. Interessanterweise entstand diese Technologie ursprünglich aus der Entwicklung von Fujitsu Laboratories für die Rehabilitation in medizinischen Einrichtungen. In der Tat ist die Geschichte zyklisch.

Nützliche Links

3D-Sensortechnologie zur Echtzeit-Quantifizierung der Bewegungen von Athleten
IKT-basiertes Beurteilungssystem für Kunstturnen und beabsichtigte neue Welt, geschaffen durch 3D-Sensortechnologie
"Ein Schritt in die Zukunft" mit dem ersten offiziellen Einsatz der Fujitsu-Technologie zur Unterstützung der Beurteilung bei den Weltmeisterschaften im Kunstturnen 2019