Bagaimana laser dan sensor membantu membuat hakim gugup

Halo, Habr!

Mengevaluasi kinerja atlet adalah tugas yang tidak menjadi lebih mudah setiap tahun. Kecepatan meningkat, program menjadi lebih rumit, elemen baru dan bundelnya muncul. Bandingkan setidaknya pertunjukan skater atau pesenam di London, Rio, Vancouver atau Sochi dan program-program yang pendahulunya menerima emas setengah abad yang lalu. Perbedaannya akan terasa bahkan oleh orang yang tidak mengikuti olahraga.



Siapa hakimnya? Meskipun mereka fasih dalam bidangnya, namun orang-orang biasa yang lelah, terganggu, berkedip, menyerah pada emosi. Hasilnya adalah keputusan yang kontroversial, setelah itu para penggemar siap untuk mengirim seluruh panel juri “ke sabun”.
Karena seseorang tidak sempurna, mengapa tidak mengimbangi kelemahan dengan prestasi sains dan teknologi terbaru. Kehancuran lain di garis finish membuat Edward Maybridge berpendapat bahwa foto kuda yang diambil tepat waktu saat melintasi garis akan menyelamatkan mereka dari perdebatan sengit dan konsekuensi yang sama-sama panas ketika taruhannya sangat tinggi. Mereka mulai berlatih dengan cepat dan untuk pertama kalinya foto selesai selama balapan sudah digunakan pada akhir abad ke-19. Replay video pertama akan menandai ulang tahun ke 65 tahun ini. Sejak 1970-an, tenis telah menggunakan hakim garis elektronik - sistem komputer yang menentukan di mana bola mendarat.

Sistem seperti itu efektif ketika tindakan tertentu mengarah pada kemenangan (untuk melewati garis finish pertama, skor bola ke gawang, melompat di atas saingan, dll), tetapi hampir tidak berguna ketika yang terbaik ditentukan, misalnya, dengan teknik melakukan elemen, jumlah dan urutan dalam program. Di sini Anda memerlukan sesuatu yang lebih rumit daripada Putar Ulang Instan sederhana. Fujitsu melihat teknologi sensor 3D sebagai solusinya, yang memungkinkan pemindaian waktu nyata, digitalisasi, dan evaluasi gerakan atlet. Lebih lanjut tentang prinsip kerjanya di bawah cut.

Pada Mei 2016, Fujitsu dan Asosiasi Senam Jepang (JGA) menandatangani perjanjian penelitian bersama untuk membuat sistem pendukung wasit menggunakan pemindaian 3D dan teknologi pengenalan. JGA, untuk bagiannya, memberi Fujitsu pengetahuan praktis tentang para juri, data tentang atlet, serta lingkungan pengujian, sementara Fujitsu mengembangkan sistem pendukung prototipe wasit menggunakan sensor 3D.

Anda mungkin akan tahu mengapa menemukan kembali kemudi. Ada teknologi menangkap gerak yang terkenal, yang telah lama berhasil digunakan dalam industri film dan pengembang game. Kenapa tidak menerapkannya? Jawabannya cukup sederhana. Puluhan sensor sedikit lebih kecil dari bola ping-pong mengganggu secara signifikan selama pelatihan, belum lagi membiarkan atlet keluar di tatami atau bermain untuk bersaing memperebutkan medali. Mereka mencoba, tetapi penerapan teknologi seperti itu biasanya terbatas pada kondisi laboratorium. Tentu saja, data yang dikumpulkan dapat digunakan untuk mengoptimalkan pelatihan atau mencegah cedera, tetapi juri tidak mampu setidaknya membuat hidup sedikit lebih mudah.

Perkembangan Internet hal-hal dan pengenalan sensor IoT telah membawa lebih banyak manfaat bagi para wasit. Tersembunyi dalam peralatan, dalam beberapa bentuk, seperti memanah atau taekwondo, mereka cukup berhasil membantu menentukan peserta mana yang lebih baik. Di panahan, sensor menentukan posisi panah di target, di taekwondo - memungkinkan Anda untuk mengevaluasi hits yang mengenai pelindung dan helm. Meskipun idenya jauh dari baru, mari kita ingat tenis, tetapi dengan pengembangan IOT, ada semakin banyak peluang untuk menggunakan sensor dalam berbagai disiplin ilmu.
Benar, sensor IoT tidak akan membantu menciptakan sistem yang benar-benar universal untuk mendukung hakim. Pertama, untuk setiap olahraga Anda harus memilih jenis sensor Anda, dan kedua, dalam banyak kasus, sensor harus ditempatkan langsung pada atlet. Ketiga, mereka tidak akan membantu secara real time untuk membuat model 3D dari gerakan atlet, yang berarti mereka tidak akan dapat diterapkan dalam olahraga-olahraga tersebut di mana gerakan, peralatan, dan kompleksitas elemen dievaluasi.

Pilihan senam sebagai titik awal tidak disengaja. Pertama, senam dibedakan oleh variasi gerakan terbesar yang dilakukan atlet. Ini akan memungkinkan dalam jangka panjang untuk mengumpulkan sejumlah besar data, menjadikannya sebagai basis gerakan dengan tingkat fleksibilitas tinggi dan menggunakannya dalam olahraga lain.
Alasan kedua lebih sederhana. Senam adalah olahraga yang populer dan berkembang dengan baik di Jepang. Selain itu, dengan latar belakang "penuaan" populasi Jepang (pada tahun 2035, lansia akan mencapai hampir sepertiga dari total populasi negara itu), pemerintah secara aktif mendukung inisiatif yang bertujuan mengembangkan olahraga dan perawatan kesehatan. Sebagai hasilnya, Fujitsu relatif mudah menerima dukungan komprehensif dan bantuan ahli dari para spesialis dari Asosiasi Senam Jepang dan Federasi Senam Internasional, serta dari organisasi-organisasi lain yang tertarik.

Sensor 3D

Untuk menghilangkan spidol dan sensor yang harus dipasang langsung pada atlet, Fujitsu memutuskan untuk menggunakan gambar yang dalam (yaitu, gambar di mana jarak ke objek pada titik itu disimpan di setiap piksel, bukan warna) untuk analisis. Untuk melakukan pemindaian tiga dimensi dari gerakan manusia, sistem ini menggunakan sensor laser tiga dimensi yang membaca gambar kedalaman, yang merupakan kontur permukaan tubuh. Setelah itu, teknologi pengenal kerangka diterapkan pada gambar yang dihasilkan untuk menentukan posisi sambungan. Hanya ini memungkinkan Anda untuk menghitung secara akurat sudut yang terkait dengan posisi siku, lutut, tulang belakang, dll., Dan untuk menganalisis secara terperinci pergerakan tubuh berdasarkan perubahan sementara pada nilai-nilai sudut ini. Artinya, hakim dapat, dengan mengandalkan model yang diperoleh oleh sistem,tentukan apakah, misalnya, punggung pesenam itu lurus selama eksekusi elemen dan memutuskan denda.

Pemotretan akurat dari gerakan cepat atlet membutuhkan frame rate tinggi dan metode untuk mengumpulkan gambar yang mendalam yang dapat menangkap semua gerakan dalam resolusi tinggi dan jarak jauh. Karena alasan ini, kamera dengan kedalaman standar segera hilang. Terlepas dari kenyataan bahwa kamera seperti itu menerima informasi mendalam dengan kecepatan tinggi dan resolusi tinggi, kamera hanya dapat melakukan ini dari jarak dekat - tidak lebih dari 5 meter. Yang sangat membatasi penggunaannya di situs kompetisi.
Dengan sensor laser berbasis pada teknologi LIDAR (Deteksi Cahaya dan Mulai), situasinya lebih baik. Mereka dapat menerima gambar mendalam dari suatu objek dari jarak 15 meter, tetapi kecepatan pemindaian dan kualitas gambar di sini tergantung pada konfigurasi sistem pemindaian pada sisi proyeksi dan sistem optik pada sisi deteksi. Misalnya, dalam sistem dengan cermin poligonal yang berputar, setelah setiap garis pemindaian, sistem harus menunggu cermin berputar ke posisi tertentu untuk memulai proses pemindaian berikutnya, yang sangat mengurangi kecepatan.

Penggunaan mirror berdasarkan sistem microelectromechanical (MEMS) dapat secara signifikan meningkatkan kecepatan pemindaian, tetapi bahkan di sini perlu untuk "memodifikasinya dengan file". Untuk menggunakan sistem pemindaian yang didasarkan pada sensor laser dan cermin MEMS dalam olahraga, perlu meningkatkan jumlah titik pemindaian lebih dari sepuluh kali dibandingkan dengan teknologi LIDAR yang ada, yang berarti bahwa perlu untuk meningkatkan kecepatan pemindaian cermin MEMS. Jika tidak, Anda tidak akan dapat menerima gambar resolusi tinggi.
Oleh karena itu, perlu untuk mengurangi ukuran cermin MEMS menggunakan lensa pembesar sudut pemindaian. Jika proyeksi dan deteksi cahaya adalah koaksial, mengurangi ukuran cermin MEMS, yang juga digunakan untuk deteksi, akan mencegah pantulan semua cahaya dari target, sehingga mengurangi jumlah cahaya pada fotodetektor. Untuk memastikan cahaya yang cukup terdeteksi, Fujitsu menggunakan sistem optik dengan unit proyeksi dan deteksi terpisah.

Gambar di bawah ini menunjukkan konfigurasi sensor laser tiga dimensi yang dikembangkan oleh Fujitsu Laboratories, yang dilengkapi dengan sistem proyeksi / deteksi perpecahan optik menggunakan cermin MEMS.



Untuk mengukur jarak ke target, sistem ini menggunakan metode Time of Flight (ToF), yang mengukur waktu dari proyeksi pulsa laser hingga menentukan pantulannya. Setelah mencatat waktu yang diperlukan untuk memproyeksikan pulsa laser, refleksi dari target dan deteksi pada unit deteksi sebagai ΔT dan kecepatan cahaya sebagai c (sekitar 300.000 km / s), Anda dapat mengatur jarak d ke target menggunakan persamaan berikut:

d = (c × Δ T) / 2

Tetapi kesulitan tidak berakhir di sana. Pertama, penting untuk memastikan kebebasan relatif penentuan posisi sensor, karena tidak selalu mungkin untuk mengaturnya pada jarak tertentu dan konstan dari objek, karena semua tempat untuk kompetisi berbeda. Sebagai contoh, sensor menerima gambar yang dalam dari suatu objek dalam resolusi tinggi ketika jaraknya dekat. Tetapi jika objek bergerak lebih jauh dari sensor, resolusi gambar akan turun, asalkan sudut pandangnya tetap sama. Untuk menghindari hal ini, kami menambahkan kontrol sudut pandang ke sistem.

Itu juga perlu untuk "memotong" kelebihan cahaya yang masuk ke sistem (sinar matahari, lampu sorot, kamera berkedip, dll.). Untuk ini, dikembangkan teknologi pendeteksi cahaya multi-segmen, berkat sistem pemindaian disinkronkan dengan sinyal kontrol cermin MEMS agar secara selektif hanya menyalakan fotodetektor yang menerima jumlah cahaya terbesar yang dipantulkan dari objek, sementara menonaktifkan semua yang terpengaruh oleh cahaya sekitar. .

Akhirnya, sinkronisasi ditambahkan di antara beberapa blok sensor laser 3D untuk menghindari titik-titik buta.

Jadi, tugas mendapatkan gambar mendalam tentang gerakan atlet dalam kualitas tinggi dan dengan kecepatan tinggi telah diselesaikan. Satu-satunya yang tersisa adalah menganalisisnya.

Teknologi Pengenalan Kerangka

Teknologi pengenalan kerangka memungkinkan Anda untuk mengekstrak data pada posisi berbagai sendi tubuh manusia dari gambar dalam dari sensor 3D. Dalam olahraga seperti olahraga dan senam ritmik, skating angka, menyelam, dll. 3D-informasi tentang posisi sendi, sudutnya harus sangat akurat, karena jumlah poin tergantung pada ini, yang pada akhirnya menentukan pemenangnya.

Gambar berikut menunjukkan prinsip teknologi yang menyediakan kecepatan tinggi dan akurasi pengenalan kerangka. Pada tahap persiapan, sistem telah dilatih untuk menentukan di mana sendi berada di gambar dan membuat model 3D dari posisi tubuh berdasarkan pada mereka, tetapi juga belajar dalam proses dari data baru yang diterimanya.



Pada tahap pelatihan, dibuat model peramalan yang menurunkan nilai estimasi koordinat sambungan menggunakan gambar mendalam. Untuk melakukan ini, gambar yang dalam dibuat menggunakan grafik komputer dari gerakan yang diperoleh sebelumnya dengan koordinat sendi untuk mempersiapkan set pelatihan untuk pembelajaran mesin.

Akibatnya, pada tahap pengenalan, gambar dalam banyak titik yang diperoleh dari beberapa sensor laser 3D ditumpangkan dengan model prediksi yang dibuat pada tahap pelatihan untuk mendapatkan koordinat tiga dimensi dari sambungan (mis., Kenali kerangka). Pada tahap ini, koordinat sambungan yang diperoleh digunakan sebagai nilai awal untuk menerapkan model manusia ke titik awan, sesuai dengan gambar kedalaman yang diperoleh dari masing-masing sensor. Proses ini disebut "fit." Untuk membuat koordinat titik awan sedekat mungkin dengan koordinat permukaan model manusia yang digunakan untuk pemasangan, "derajat kebetulan" (kemungkinan) ditentukan, dan kemudian koordinat dicari dengan kemungkinan maksimum, yang akan menentukan koordinat tiga dimensi akhir dari sambungan.

Saat mengenali kerangka menggunakan pembelajaran mesin, akurasi biasanya rendah, karena posisi sambungan ditentukan berdasarkan model prediksi. Namun, proses pemasangan selanjutnya meningkatkan akurasi dengan membandingkan posisi sambungan dengan nilai pengukuran aktual sesuai dengan awan titik dari beberapa sensor laser 3D. Pada saat ini, keakuratan nilai yang terukur dalam pengenalan kerangka berdasarkan pembelajaran mesin menentukan kisaran penyesuaian dan, oleh karena itu, mempengaruhi akurasi hasil akhir dari pengenalan kerangka dan waktu pemrosesan. Untuk meningkatkan akurasi pengenalan kerangka berdasarkan pembelajaran mesin, beberapa model peramalan sedang dipersiapkan yang menggabungkan posisi tubuh seperti depan (depan), pegangan tangan (handstand) dan belakang (belakang),dan metode diterapkan yang memilih model prediksi optimal dengan menentukan posisi tubuh sebelum mengenali kerangka. Dibandingkan dengan metode konsolidasi semua gerakan dalam model peramalan tunggal, metode ini secara signifikan meningkatkan akurasi pengenalan dengan membatasi gerakan yang harus dipelajari dalam model peramalan.



Gambar ini menunjukkan hasil pengenalan kerangka berdasarkan pembelajaran mesin menggunakan beberapa sensor dalam kompetisi senam. Saat mengendarai kuda, model prediksi yang sesuai dengan posisi maju digunakan, dan untuk melompat, model prediksi yang sesuai dengan handstand digunakan. Hasil ini menunjukkan bahwa beralih antara model prediksi untuk berbagai jenis posisi tubuh memungkinkan pengenalan kerangka dengan akurasi tinggi bahkan untuk gerakan kompleks khas senam.

Implementasi dan Aplikasi

Demonstrasi uji pertama dari sistem ini diadakan pada Oktober 2016 di Kongres Federasi Senam Internasional, setelah itu pekerjaan dimulai pada implementasi aktual dari teknologi. Pada bulan Oktober 2017, percobaan tes pertama menggunakan data kompetisi aktual dilakukan di Kejuaraan Senam Dunia ke-47 di Montreal.

Di Kejuaraan Senam Dunia di Stuttgart pada tahun 2019, sistem Fujitsu secara resmi diakui sebagai alat bantu untuk menilai kesulitan tampil dalam 4 bentuk: kuda senam, cincin, kubah (pria dan wanita).
Perlu dikatakan bahwa penggunaan sistem sensor 3D Fujitsu tidak hanya terbatas pada bantuan hakim. Ada banyak skenario aplikasi potensial.

Mengikuti pertunjukan pesenam, sistem belajar mengenali gerakan yang paling beragam dan kompleks. Oleh karena itu, akan segera dimungkinkan untuk menyesuaikan aplikasinya dengan olahraga lain, hanya perlu menentukan model peramalan yang tepat untuk setiap disiplin ilmu tertentu. Ini tidak hanya akan membantu hakim membuat keputusan lebih cepat, yang akan memiliki efek menguntungkan pada jumlah penampilan di siaran televisi (lebih sedikit pertemuan juri - lebih banyak waktu di depan kamera untuk atlet), tetapi juga membantu pemirsa lebih memahami apa yang terjadi di pengadilan. Gambar yang diproses dari pemindai sangat baik untuk visualisasi momen kinerja individu (eksekusi elemen kompleks, kesalahan).




Atlet dan pelatih dapat menggunakan video tentang operasi sistem dan skenario aplikasinya menggunakan model 3D yang diperoleh sebagai hasil pemindaian untuk meningkatkan peralatan, mengoptimalkan pelatihan dan mencegah cedera. Juga, sistem seperti itu membuka kemungkinan baru untuk pelatihan dan konsultasi jarak jauh, karena model dari sistem tersebut memungkinkan pemahaman yang jauh lebih baik tentang teknik atlet daripada rekaman video konvensional. Pada saat yang sama, gerakan manusia disajikan dalam format digital, yang berarti bahwa data ini dapat digunakan untuk penelitian.

Skenario penggunaan ini menjadi sangat relevan pada periode saat ini. Sekarang pergerakan orang bahkan antar kota, dan bahkan lebih lagi antar negara, terbatas, dan atlet, bagaimanapun, membutuhkan latihan dan konsultasi yang kompeten dari pelatih dan spesialis lain agar tidak kehilangan bentuk untuk mengantisipasi kapan kehidupan olahraga akan kembali normal.

Anda juga dapat meninggalkan buku tebal "aturan wasit" yang berbintik-bintik dengan ilustrasi statis dan penjelasan tekstual panjang tentang bagaimana pesenam perlu melakukan latihan. Masa depan terletak pada aplikasi, dan berdasarkan data dan model yang diperoleh dari sensor 3D, kita akan mendapatkan aplikasi yang bagus untuk hakim dengan seperangkat aturan, gambar detail dinamis dari teknik eksekusi yang benar, yang memungkinkan perbedaan minimal atau interpretasi ganda.

Akhirnya, mereka akan menggunakan pemindaian 3D dan sistem pengenalan yang dihasilkan untuk rehabilitasi pasien. Ini membantu untuk memvisualisasikan pemulihan mobilitas sendi dan menyesuaikan pengobatan dengan benar. Menariknya, teknologi ini awalnya tumbuh dari pengembangan Laboratorium Fujitsu untuk rehabilitasi di lembaga medis. Memang, sejarah adalah siklus.

Tautan yang Berguna

Teknologi Penginderaan 3D untuk Kuantifikasi Real-Time Pergerakan Atlit
Sistem Pendukung Penilaian TIK untuk Senam Artistik dan Dunia Baru yang Dimaksudkan Dibuat Melalui Teknologi Penginderaan 3D
"Sebuah langkah menuju masa depan" dengan penggunaan resmi pertama teknologi Fujitsu untuk mendukung penjurian. di Kejuaraan Dunia Senam Artistik 2019