Get best of the week

Mobile ML: Maschinelles Lernen in der Tasche. Teil 1 - Eisen


Gepostet von Andrey Batutin, Senior iOS-Entwickler bei DataArt

Heute machen alle maschinelles Lernen, einschließlich unserer Telefone. Ja, bald wird Ihr Telefon wirklich intelligent. Na ja, oder zumindest schlauer als du und ich. Warum? Jetzt lass es uns herausfinden. Beginnen wir mit der Hardware, die bereits auf Mobilgeräten installiert ist.

TL; DR


Alle großen Hersteller von mobilen System-on-Chip (SoC) erweitern ihre Lösungen seit 3-4 Jahren aktiv um ML-spezifische Hardware. Wenn Sie ein Top-End-Android oder iPhone haben, haben Sie neben der GPU fast garantiert einen Chip, der speziell auf ML-Aufgaben zugeschnitten ist.

Die meisten ML-Chips sind für Computer Vision, Audio, Kamera / Foto / Video konzipiert. Die Hauptaufgaben: Reduzierung des Bildrauschens, beste Zoomqualität, Erkennung von Gesichtern und Tieren, Spracherkennung und Textsynthese.

Darüber hinaus bieten die Hauptanbieter ein SDK an, mit dem Entwickler von Drittanbietern auf diesen ML-Chip zugreifen können. Du kannst also sehr gut dein Snapchat oder Siri machen, trotzdem sitzt du wahrscheinlich zu Hause (Wann wird alles enden ?! Wie will ich in KFC!).

Eisen


Große Anbieter von mobilen Chips erweitern ihre SoC-Architekturen aktiv mithilfe der Neural Processing Unit (NPU), des Digital Signal Processor (DSP) und spezialisierter AI-Kerne. Diese Komponenten sind speziell für den Betrieb von ML-Modellen geschärft.

Qualcomm


ML-Hardware: DSP + GPU
SDK: Qualcomm Neural Processing SDK

Bereitgestellt von Qualcomm Neural Processing SDK, das die Hardwarebeschleunigung von ML-Modellen auf einer Reihe von DSP + GPU + CPU für Snapdragon-Chips ermöglicht. DSP ist auf die Arbeit mit Audio / Video abgestimmt: eine intelligente Kamera, die das Bild von Rauschen befreit, die beste Qualität mit Zoom und ähnliche Tools zur Verbesserung der Tonqualität.

HiSilicon / Huawei


ML-Hardware: NPU
SDK: HiAI SDK Die

Da Vinci NPU besteht aus drei Kernen: zwei Hochleistungskernen und einem energieeffizienten Kern für ML-Computing.

Das HiAI SDK bietet Zugriff auf Masse für Operationen auf NPU-Matrizen. Das heißt, die NPU ist ideal für Deep Neural Network-Modelle. Zu den Extras gehört das Plug-In für Android Studio.

HiAI ist geschärft für:

  • Computer Vision
  • Automatische Spracherkennung;
  • Verständnis der natürlichen Sprache.


MediaTek


ML-Hardware: APU + GPU
SDK: NeuroPilot SDK Mit dem

NeuroPilot SDK können Sie ML-Probleme mithilfe der AI Processing Unit (APU) + GPU lösen. Die APU ist nach dem Modell des Deep Neural Network inhaftiert. Bietet Hardwarebeschleunigung für Windungen, vollständig verbundene Schichten, Aktivierungsfunktionen usw.

NeuroPilot 2.0 ermöglicht in Echtzeit:

  • Posenverfolgung für mehrere Personen;
  • 3D-Posenverfolgung;
  • Identifizierung mehrerer Objekte;
  • semantische Segmentierung;
  • Bildverbesserung.


Samsung


ML Hardware: NPU
SDK: Samsung Neuronales SDK / EDEN SDK
Samsung hat Exynos SoC um eine spezialisierte NPU erweitert. Es besteht aus zwei Multiplikationseinheiten, die für Operationen auf Matrizen geschärft wurden.

Es bietet auch das Samsung Neural SDK, das eine Hardwarebeschleunigung für ML-Modelle mit einer Kombination aus CPU + GPU + NPU bietet.

Apfel


ML-Hardware: NPU-
SDK: CoreML-SDK

Ab Apple A11 verwendet Bionic NPU. Die A13 NPU ist auf acht Kerne angewachsen. Eines der Killer-Features der neuen NPU ist die Deep Fusion-Bildverarbeitung: Wir machen 9 Aufnahmen und kombinieren sie zu einer. Besonders relevant für Nachtaufnahmen.

Bietet CoreML SDK. Wie in anderen SDKs bietet es Hardwarebeschleunigung für ML-Modelle. Aus den Extras - ML erstellen - Nur-UI-Umgebung zum Trainieren von ML-Modellen. Ermöglicht das Trainieren:

  • Objekterkennung / Klassifikator;
  • Klangklassifikator;
  • Bewegungsklassifikator;
  • Textklassifizierer / Wortkennzeichnung;
  • Tabellarischer Klassifikator;
  • Empfehlungsmotor.


Nützliche Links


ML-Benchmark für Android-Smartphones ;
Qualcomm Neural Processing SDK ;
HUAWEI HiAI SDK ;
Apple CoreML

In der Fortsetzung des Materials werden wir uns die Funktionsweise von NPU genauer ansehen . Lassen Sie uns über die für mobile ML benötigte Software und deren Verwendung sprechen.

More articles:


All Articles