🏼 👩🏿‍🔧 🛢️ Mobile ML: التعلم الآلي في جيبك. الجزء 1

تم النشر بواسطة Andrey Batutin ، كبير مطوري iOS في DataArt

اليوم ، يقوم الجميع بتعلم الآلة ، بما في ذلك هواتفنا. نعم ، قريبًا سيصبح هاتفك ذكيًا حقًا. حسنًا ، أو على الأقل أكثر ذكاءً مني وأنت. لماذا ا؟ الآن دعونا نكتشف ذلك. لنبدأ بالأجهزة المثبتة بالفعل على الأجهزة المحمولة.

TL ؛ د

جميع الشركات المصنعة الرئيسية لنظام Mobile-on-chip (SoC) تعمل بنشاط على إضافة أجهزة خاصة بـ ML إلى حلولها لمدة 3-4 سنوات. إذا كان لديك جهاز Android أو iPhone متطور ، فبفضل وحدة معالجة الرسوميات ، يكاد يكون مضمونًا أن يكون لديك شريحة مصممة خصيصًا لمهام ML.

تم تصميم رقائق ML في الغالب من أجل Computer Vision ، Audio ، Camera / Photo / Video. المهام الرئيسية: تقليل الضوضاء في الصورة ، أفضل جودة مع التكبير ، التعرف على الوجه والحيوان ، التعرف على الكلام وتركيب النص.

بالإضافة إلى ذلك ، يوفر الموردون الرئيسيون حزمة SDK تتيح لمطوري الجهات الخارجية الوصول إلى شريحة ML هذه. لذا يمكنك صنع Snapchat أو Siri بشكل جيد ، على أي حال أنت جالس في المنزل (متى سينتهي كل ذلك؟! كيف أريد في KFC!).

حديد

يقوم كبار موردي شرائح الهواتف المحمولة بتوسيع بنيات SoC الخاصة بهم بمساعدة وحدة المعالجة العصبية (NPU) ومعالج الإشارات الرقمية (DSP) ونوى الذكاء الاصطناعي المتخصصة. يتم شحذ هذه المكونات خصيصًا لتشغيل نماذج ML.

كوالكوم

أجهزة ML: DSP + GPU
SDK: Qualcomm Neural Processing SDK

مقدمة من Qualcomm Neural Processing SDK ، والتي توفر تسريع أجهزة نماذج ML على مجموعة من DSP + GPU + CPU لشرائح Snapdragon. تم ضبط DSP للعمل مع الصوت / الفيديو: كاميرا ذكية ، وتنظيف الصورة من الضوضاء ، وأفضل جودة باستخدام الزوم والأدوات المشابهة لتحسين جودة الصوت.

هايسيليكون / هواوي

ML الأجهزة: NPU
SDK: HiAI SDK

دافنشي NPU يتكون من ثلاثة محاور: ارتفاع أداء اثنين، ونواة واحدة الموفرة للطاقة لML-الحوسبة.

يتيح HiAI SDK الوصول إلى الأرض للعمليات على مصفوفات NPU. أي أن NPU مثالية لنماذج الشبكة العصبية العميقة. من الأشياء الجيدة هو المكون الإضافي لـ Android Studio.

HiAI أرض تحت:

رؤية الكمبيوتر
التعرف التلقائي على الكلام ؛
فهم اللغة الطبيعية.

ميدياتك

أجهزة ML: APU + GPU
SDK: NeuroPilot SDK

تسمح لك NeuroPilot SDK بحل مشاكل ML باستخدام وحدة معالجة AI (APU) + GPU. تم سجن APU بموجب نموذج Deep Neural Network. يوفر تسريع الأجهزة

للالتواءات ، والطبقات المتصلة بالكامل ، ووظائف التنشيط ، إلخ. يسمح NeuroPilot 2.0 في الوقت الفعلي:

تتبع وضع متعدد الأشخاص ؛
تتبع الوضع ثلاثي الأبعاد ؛
تحديد كائن متعدد ؛
التجزئة الدلالي.
تحسين الصورة.

سامسونج

أجهزة ML: NPU
SDK:
لقد أضافت Samsung Neural SDK / EDEN SDK NPU متخصصة إلى Exynos SoC. يتكون من وحدتين Multiply - تراكم ، شحذت للعمل على المصفوفات.

كما يوفر أيضًا Samsung Neural SDK ، الذي يوفر تسريع الأجهزة لنماذج ML باستخدام مجموعة من CPU + GPU + NPU.

تفاحة

ML الأجهزة: NPU
SDK: CoreML SDK

بدءا من أبل A11، يستخدم بيونيك NPU. نمت وحدة A13 NPU إلى ثمانية نوى. واحدة من الميزات القاتلة في NPU الجديدة هي معالجة الصور Deep Fusion: نأخذ 9 لقطات ونجمعها في واحدة. مناسبة بشكل خاص للتصوير الليلي.

يوفر CoreML SDK. كما هو الحال في حزم SDK الأخرى ، فإنه يوفر تسريع الأجهزة لنماذج ML. من الكعك - إنشاء ML - بيئة UI فقط لتدريب نماذج ML. يتيح لك التدريب:

كشف الكائن / المصنف ؛
مصنف الصوت
مصنف الحركة
مصنف النص / تمييز الكلمات ؛
مصنف مجدول
محرك التوصية.

روابط مفيدة

ML- معيار للهواتف الذكية الروبوت .
كوالكوم المعالجة العصبية SDK ؛
HUAWEI HiAI SDK ؛
Apple CoreML

في استمرار المواد ، سنلقي نظرة فاحصة على كيفية عمل NPU. دعنا نتحدث عن البرنامج المطلوب لـ ML mobile وكيفية استخدامه.

Mobile ML: التعلم الآلي في جيبك. الجزء 1 - الحديد