Get best of the week

Mobile ML: pembelajaran mesin di saku Anda. Bagian 1 - Setrika


Diposting oleh Andrey Batutin, Pengembang iOS Senior di DataArt

Hari ini, semua orang melakukan Pembelajaran Mesin, termasuk telepon kami. Ya, ponsel Anda akan menjadi sangat cerdas. Ya, atau setidaknya lebih pintar dari Anda dan saya. Mengapa? Sekarang mari kita cari tahu. Mari kita mulai dengan perangkat keras yang sudah diinstal pada perangkat seluler.

TL; DR


Semua produsen utama Sistem-on-chip (SoC) seluler telah secara aktif menambahkan perangkat keras khusus-ML ke solusi mereka selama 3-4 tahun. Jika Anda memiliki Android atau iPhone top-end, di sebelah GPU Anda hampir dijamin memiliki chip yang dirancang khusus untuk tugas-tugas ML.

Kebanyakan chip ML dirancang untuk Penglihatan Komputer, Audio, Kamera / Foto / Video. Tugas utama: mengurangi noise dalam foto, kualitas terbaik dengan zoom, pengenalan wajah dan hewan, pengenalan suara dan sintesis teks.

Selain itu, vendor utama menyediakan SDK yang memberikan akses pengembang pihak ketiga ke chip ML ini. Jadi Anda bisa membuat Snapchat atau Siri dengan baik, toh Anda mungkin duduk di rumah (Kapan semuanya akan berakhir?! Bagaimana yang saya inginkan di KFC!).

Besi


Vendor mobile chip besar secara aktif memperluas arsitektur SoC mereka dengan bantuan Neural Processing Unit (NPU), Digital Signal Processor (DSP) dan core AI khusus. Komponen-komponen ini secara khusus dipertajam untuk pengoperasian model-ML.

Qualcomm


Perangkat Keras ML:
SDK DSP + GPU : SDK Pemrosesan Qualcomm Neural

Disediakan oleh SDK Pemrosesan Qualcomm Neural, yang menyediakan akselerasi perangkat keras model-ML pada sekelompok DSP + GPU + CPU untuk chip Snapdragon. DSP disetel untuk bekerja dengan audio / video: kamera pintar, membersihkan gambar dari noise, kualitas zoom terbaik dan alat serupa untuk meningkatkan kualitas suara.

HiSilicon / Huawei


Perangkat Keras ML: NPU
SDK: HiAI SDK

Da Vinci NPU terdiri dari tiga inti: dua kinerja tinggi, dan satu inti hemat energi untuk komputasi-ML.

HiAI SDK memberikan akses ke ground untuk operasi pada matriks NPU. Artinya, NPU sangat ideal untuk model Deep Neural Network. Yang terbaik adalah plug-in untuk Android Studio.

HiAI diasah untuk:

  • Visi Komputer
  • Pengenalan Ucapan Otomatis;
  • Pemahaman Bahasa Alamiah.


MediaTek


Perangkat Keras ML: APU + GPU
SDK: NeuroPilot SDK

NeuroPilot SDK memungkinkan Anda untuk memecahkan masalah ML menggunakan AI Processing Unit (APU) + GPU. APU dipenjara di bawah model Deep Neural Network. Menyediakan akselerasi perangkat keras untuk konvolusi, lapisan yang terhubung penuh, fungsi aktivasi, dll.

NeuroPilot 2.0 memungkinkan secara real time:

  • Pelacakan pose multi-orang;
  • Pelacakan pose 3D;
  • identifikasi banyak objek;
  • segmentasi semantik;
  • peningkatan citra.


Samsung


Perangkat Keras ML: NPU
SDK: Samsung Neural SDK / EDEN SDK
Samsung telah menambahkan NPU khusus ke Exynos SoC. Ini terdiri dari dua unit Multiply - akumulasi, diasah untuk operasi pada matriks.

Ini juga menyediakan Samsung Neural SDK, yang menyediakan akselerasi perangkat keras untuk model ML menggunakan kombinasi CPU + GPU + NPU.

apel


Perangkat Keras ML: NPU
SDK: CoreML SDK

Memulai dengan Apple A11, Bionic menggunakan NPU. NPU A13 telah berkembang menjadi delapan core. Salah satu fitur pembunuh dari NPU baru adalah pemrosesan gambar Deep Fusion: kami mengambil 9 foto dan menggabungkannya menjadi satu. Terutama relevan untuk pemotretan malam hari.

Menyediakan CoreML SDK. Seperti pada SDK lainnya, ini memberikan akselerasi perangkat keras untuk model ML. Dari roti - Buat ML - lingkungan khusus UI untuk melatih model-ML. Memungkinkan Anda untuk melatih:

  • Deteksi objek / classifier;
  • Klasifikasi suara;
  • Klasifikasi gerak;
  • Klasifikasi teks / penandaan kata;
  • Klasifikasi Tabular;
  • Mesin rekomendasi.


tautan yang bermanfaat


Tolok ukur ML untuk smartphone Android ;
SDK Pemrosesan Saraf Qualcomm ;
HUAWEI HiAI SDK ;
Apple CoreML

Dalam kelanjutan materi kami akan melihat lebih dekat bagaimana NPU bekerja. Mari kita bicara tentang perangkat lunak yang diperlukan untuk ML seluler dan bagaimana menggunakannya.

More articles:


All Articles