Get best of the week

Bagaimana kami membuat merchandiser robot prototipe dan apa yang berikutnya



Coronavirus terus menyebar mematikan di seluruh dunia dan di negara kita. Kami telah bekerja dari rumah selama hampir dua bulan, seperti semua karyawan TI di seluruh dunia, dan, di satu sisi, kami semakin sedih tentang ruang lama kami yang baik dan kesempatan untuk membahas semua tugas dan masalah dalam kehidupan, dan tidak gila berguna, tetapi masih tanpa jiwa zoom (sayangnya kami tidak punya waktu untuk menyewa llama California untuk semua pertemuan kami :)). Di sisi lain, kami semakin memikirkan otomatisasi dan robotisasi semua proses, termasuk proses pembuatan data analitik yang bekerja dengan kami dan sistem kami.

Secara lebih rinci, kami mengingat merchandiser robot pertama kami, yang kami buat sebagai prototipe 2 tahun yang lalu dan semakin banyak berpikir (dan tidak hanya berpikir!) Tentang versi kedua, yang dapat dimasukkan ke dalam produksi dan operasi komersial.

Dalam artikel ini saya ingin memberi tahu Anda apa yang terjadi dari ide ini, apa yang ternyata buruk atau tidak berhasil sama sekali, dan apa yang akan kita lakukan sekarang untuk membawa ide ini ke aplikasi nyata di toko nyata. Bagi yang berminat, selamat datang ke kucing.

Sedikit latar belakang: perusahaan kami (ShelfMatch Robotics) mulai mengotomatiskan merchandising sekitar 5 tahun yang lalu. Otomasi dalam hal ini berarti bahwa dengan satu atau lain cara kita mendapatkan foto-foto rak barang di toko-toko (di apotek, pompa bensin, dll.) Yang dibuat oleh pedagang, mengenali semua barang di dalamnya dan mengeluarkan analisis yang diperlukan untuk pelanggan.

Segera setelah kami sedikit lebih dalam ke dalamnya, kami segera menghadapi salah satu masalah utama dan agak rumit - sebagian besar, pedagang mengambil foto buruk atau sangat buruk. Jelas bahwa masalah ini dapat diselesaikan dengan berbagai cara tradisional, seperti pelatihan staf, mengeluarkan perangkat yang baik, dll., Tetapi karena berbagai alasan (saya akan mengesampingkannya, tidak penting), metode ini tidak selalu berhasil, atau lebih tepatnya, mereka tidak selalu bekerja dengan baik.

Alasan kedua, yang tidak kalah penting mengapa otomatisasi analitik di dalam toko masuk akal adalah bahwa toko kehilangan uang setiap detik karena berbagai kesalahan tampilan, seperti kehabisan stok atau kegagalan untuk mengamati planogram. Dan mereka kehilangan banyak uang, menurut analis di robotika bossa nova kehabisan stok, yang menyebabkan hilangnya pendapatan 0,5 triliun. dolar setahun di seluruh dunia. Secara umum, untuk toko, pengenalan "mata ekstra" yang akan memindai seluruh ruang lantai perdagangan dan gudang sangat penting dan kurang diimplementasikan saat ini.

Kami pada saat itu segera muncul dengan yang lain, lebih menarik, menurut pendapat kami, keputusan - mengapa tidak mendelegasikan mengambil foto kepada seseorang yang, pada dasarnya, melakukan semuanya SELALU sesuai dengan instruksi dan hampir tidak pernah membuat kesalahan (ketika mempertimbangkan instruksi yang akurat dan berkualitas tinggi) . Anda mungkin sudah menebak bahwa kita sedang membicarakan tentang robot-merchandiser.

Saya ingat ketika kami mempertimbangkan semua ide paling gila, mulai dari robot drone yang akan terbang di sekitar toko dan diakhiri dengan kamera otomatis robot yang akan berjalan di sepanjang mono-rails di langit-langit toko. Hal pertama yang kami lihat dan benar-benar menginspirasi kami adalah robot-robot robot bossa nova, yang melintasi toko-toko Amerika (misalnya, Walmart), memberi pelanggan kesempatan untuk sedikit menyentuh masa depan dalam waktu dekat. Namun demikian, kami sampai pada kesimpulan bahwa kami perlu membuat robot tradisional pada "sasis-truk" seperti penyedot debu robot dan melengkapinya dengan semua jenis kamera dan sensor yang diperlukan untuk navigasi dan memotret rak.

Perumusan masalah:


Jadi, pernyataan masalahnya cukup sederhana: kita membutuhkan robot prototipe yang dapat secara independen (saat berada di bawah pengawasan operator, tetapi masih tanpa mengendalikan joystick) bepergian di sepanjang rak-rak toko, memotret semua rak ini dan mentransfer foto ke server untuk diproses lebih lanjut. Robot harus terlihat, jika tidak menarik, maka setidaknya tidak menakutkan, sehingga pengunjung toko tidak menghindarinya. Ini penting, karena kami berencana untuk melakukan eksperimen dan pengukuran nyata di toko terbuka nyata dan tidak ada yang akan menutupnya selama periode manipulasi kami.

Versi pertama dari robot ini dinamai komandan replika dari orang tua yang baik, saya harap semua orang akrab dengan film Ridley Scott Blade Runner - Roy (dan kita akan terus memanggilnya).

Terdiri dari apa Roy


Casis:

  • Swiss motor maxon - Swiss karena kawan-kawan murah Cina mereka karena suatu alasan sangat cepat terbakar di tangan kita
  • 4 roda dari jenis roda omni - pada saat itu kami merasa kami membutuhkan roda omni persis sehingga robot dapat dengan cepat dan tanpa gerakan yang tidak perlu mengubah arah gerakan
  • alasnya terbuat dari aluminium dan plastik
  • pengontrol motor
  • baterai
  • NUC dengan ROS di atas Ubuntu di dalam untuk navigasi
  • Lidar RPLidar A2 untuk membuat peta, navigasi, dan lokalisasi

Torso (menara):

  • bingkai profil aluminium
  • lapisan plastik
  • dudukan plastik untuk kamera yang dicetak pada printer 3D
  • 4 Kamera USB Bustler
  • NUC untuk mengambil gambar dan mengirim foto ke server melalui WiFi
  • Kamera 3D yang dalam seperti Intel IntelliVision, yang masih belum dapat kami sambungkan
  • Layar LCD untuk debugging dan menampilkan informasi layanan dan iklan

Tidak sulit untuk merakit troli dan bodi, kami menghabiskan beberapa bulan di sana. Dalam perakitan dan penyesuaian troli kami dibantu oleh beberapa mantan karyawan TsNII-RTK.

Bagaimana semuanya bekerja dan apa yang terjadi


Setiap orang yang terbiasa bekerja di ROS dapat melewati bab ini, mereka tidak mungkin menemukan sesuatu yang unik atau orisinal di dalamnya, tetapi mereka yang “di luar topik” akan tertarik. Saya akan segera memberi tahu Anda bagaimana semua ini terjadi di toko nyata (kami kemudian diuji dalam SPAR yang masih hidup dan sehat di Kupchino):

  1. Kami datang ke toko, menemukan rak yang kami butuhkan (prototipe diuji pada kategori produk Tea, kemudian 4-5 kategori produk lainnya difoto), kami menemukan outlet yang tidak dihuni (ini, omong-omong, cukup sulit), dan membongkar seluruh barang bawaan.
  2. Roy ( — , , ).

  3. WiFi- .
  4. Ubuntu+ROS , Game-Pad .
  5. : ROS, Teleop ( ), Gmapping ( ), Rviz ( Roy).
  6. — , Roy , ( , Roy «» «»).
  7. Setelah peta dibuat, simpan, palu dalam koordinat titik survei (awal rak 1 adalah titik "A", ujung rak 1 adalah titik "B", rotasi adalah 90 derajat, ujung rak 2 adalah titik "C". Kami pada dasarnya menghapus rak dalam bentuk huruf "G")

Selanjutnya, jalankan skrip fotografi (semuanya sudah tanpa gamepad, "sihir" asli):

  1. Roy pergi ke posisi yang diberikan - titik "A".
  2. Roy dikerahkan dengan cara yang benar (dengan kamera ke rak), derajat rotasi juga diatur dalam skrip.
  3. Roy mulai mengemudi perlahan di sepanjang rak, memotret beberapa kali per detik dengan setiap kamera dan menyimpan foto ke NUC. Dalam hal ini, kamera disinkronkan dan mengambil foto secara bersamaan.
  4. Pada saat yang sama, skrip lain mulai secara tidak sinkron mengirim foto melalui WiFi ke server.
  5. Roy mengemudi di satu rak (titik "B"), menghentikan kamera selama putaran, berbelok 90 derajat, menyalakan kamera lagi.
  6. Ini mendorong sepanjang rak ke-2 untuk menunjuk "C".
  7. Matikan kamera.
  8. Kembali ke posisi awal (titik "A").

Pekerjaan lebih lanjut sudah langsung di server:

  1. Pada saat semua foto ditransfer ke server, server mulai menempelkan foto dan proses mengenali barang di rak
  2. Ketika semua proses selesai, di antarmuka web ada rak dengan barang yang ditandai dengan markup barang + semua analitik yang diperlukan (bagian barang di rak, stok habis, perbandingan dengan planogram, dll.)



Ringkas apa yang berhasil kami temukan


  • mungkin poin terpenting - kita dapat membuat prototipe robot sendiri, tidak ada yang tidak realistis tentang hal itu, seluruh sistem (mengumpulkan foto + navigasi + transfer data + pemrosesan data + visualisasi data) berfungsi, tetapi ini hanya prototipe
  • pengamatan yang menarik dan penting - pengunjung toko tidak takut dan tidak "menghindar" robot - nenek tidak memperhatikannya, anak-anak mengaguminya, orang lain sangat tertarik pada "benda apa ini dan mengapa itu diperlukan", pedagang khawatir karena itu adalah pesaing langsung mereka
  • pertanyaan tentang pemilihan suku cadang harus didekati dengan bijak - mengingat biaya, ketersediaan, kualitas

Kekurangan Roy diidentifikasi setelah pembuatan dan pengujian prototipe


Masalah terbesar yang kami miliki dengan membangun peta dan masalah navigasi terkait

  • peta itu tidak selalu dibangun dengan tepat
  • sangat sering dibangun dengan buruk dari waktu 1 atau 2, butuh setengah jam untuk membangun peta
  • Roy kadang-kadang "hilang" bahkan di peta yang bagus (ini langsung jelas sejak dia mulai berputar di satu tempat dan tidak pergi ke tempat lain, dia harus menghidupkan gamepad dan beralih ke kontrol manual)

Kami memiliki hipotesis tentang masalah ini:

  • roda omni kami terkadang tergelincir di atas ubin halus toko, ini bisa merobohkan parameter odometer
  • Roy memiliki "mata" yang terlalu sedikit, mungkin satu lidar tidak cukup baginya dan perlu menambahkan sensor lain
  • mungkin lidar kami bukan yang paling benar dan akurat atau tidak disetel dengan baik, mungkin masalahnya ada di dalamnya, terutama mengingat kompleksitas tugas (jarak kecil ke rak, rak yang sangat panjang)

Kerugian lainnya:
  • — (+ ), 30 60 , Roy 2
  • ( ), ( )
  • Roy , , - (QR- , bluetooth- ..)
  • () ( ) , ,
  • ( , , , )
  • ( , ) ( 10 )
  • Roy , , , ( , « »)
  • Roy ( 3-4 ),

2 (Zhora Leon)


Pandemi virus corona telah menunjukkan bahwa dalam beberapa situasi penggunaan robot tidak hanya diinginkan, tetapi bahkan diperlukan. Jika kita berada dalam situasi di mana lebih baik tidak meninggalkan rumah sama sekali, robot, petugas pengiriman, petugas kebersihan, dan analis dapat membantu kita dalam menyelesaikan sejumlah besar tugas penting. Jika Anda melihat Roy atau saudara-saudaranya dari sisi ini, proyek tersebut terlihat semakin menarik - misalnya, gagasan untuk melengkapi kembali robot-pengangkut barang menjadi robot-disinfector atau robot yang memantau ketaatan jarak sosial dan secara tidak sadar memperingatkan mereka yang memadati di satu tempat atau antri.

Platform atas dasar yang kita ingin membangun versi baru tidak hanya dapat memindai rak, tetapi juga mengenali wajah pengunjung. Fitur menarik lainnya dari perangkat tersebut dapat:

  • iklan bertarget pada layar LCD: dari seri saya melihat seorang wanita dengan bayi - saya menawarkan popok, saya melihat pensiunan - saya menawarkan barang-barang di bursa;
  • membantu pelanggan menemukan produk
  • pemantauan pengutil berdasarkan orang
  • persediaan gudang, bantuan kepada departemen logistik dalam perencanaan pengadaan
  • dll. sampai meletakkan barang-barang di rak

Kesimpulannya, kita dapat mengatakan bahwa kita ingin melihat prototipe versi 2:

  • desain industri "seksi", menyediakan banyak "trik" seperti perangkat untuk berkomunikasi dengan dunia luar (speaker, mikrofon, layar, kamera, indikator emosi, dll.)
  • semua proses perlu dipercepat secara signifikan
  • perangkat baru harus mudah untuk skala dan relatif murah
  • membutuhkan ketepatan dalam navigasi dan lokalisasi
  • perlu navigasi global di seluruh toko
  • +

P.S. - ( ), , .

P.P.S. , , .

More articles:


All Articles