Get best of the week

ML móvel: aprendizado de máquina no seu bolso. Parte 1 - Ferro


Publicado por Andrey Batutin, desenvolvedor sênior de iOS da DataArt

Hoje, todo mundo está fazendo Machine Learning, incluindo nossos telefones. Sim, em breve seu telefone se tornará verdadeiramente inteligente. Bem, ou pelo menos mais inteligente que você e eu. Por quê? Agora vamos descobrir. Vamos começar com o hardware já instalado em dispositivos móveis.

TL; DR


Todos os principais fabricantes de sistemas móveis com chip (SoC) adicionam ativamente hardware específico de ML às suas soluções há 3 a 4 anos. Se você possui um Android ou iPhone de última geração, ao lado da GPU, é quase garantido que você possui um chip especialmente adaptado para tarefas de ML.

Os chips ML são projetados principalmente para visão computacional, áudio, câmera / foto / vídeo. As principais tarefas: reduzir o ruído na foto, a melhor qualidade com zoom, reconhecimento de rostos e animais, reconhecimento de fala e síntese de texto.

Além disso, os principais fornecedores fornecem um SDK que fornece aos desenvolvedores de terceiros acesso a esse chip ML. Assim, você pode criar seu Snapchat ou Siri, de qualquer maneira, provavelmente você está sentado em casa (quando tudo vai acabar?! Como eu quero no KFC!).

Ferro


Os principais fornecedores de chips móveis estão expandindo ativamente suas arquiteturas de SoC com a Unidade de processamento neural (NPU), Processador de sinal digital (DSP) e núcleos de IA especializados. Esses componentes são especialmente afiados para a operação dos modelos ML.

Qualcomm


Hardware de ML: DSP + GPU
SDK: Qualcomm Neural Processing SDK

Fornecido pelo Qualcomm Neural Processing SDK, que fornece aceleração de hardware de modelos ML em um monte de DSP + GPU + CPU para chips Snapdragon. O DSP é ajustado para trabalhar com áudio / vídeo: uma câmera inteligente, limpando a imagem do ruído, a melhor qualidade com zoom e ferramentas semelhantes para melhorar a qualidade do som.

HiSilicon / Huawei


Hardware de ML: NPU
SDK: HiAI SDK O

NPU da Vinci consiste em três núcleos: dois de alto desempenho e um de eficiência energética para computação em ML.

O HiAI SDK dá acesso ao solo para operações em matrizes NPU. Ou seja, o NPU é ideal para modelos de redes neurais profundas. Dos presentes - plug-in para o Android Studio.

O HiAI é afiado para:

  • Visão por Computador
  • Reconhecimento Automático de Fala;
  • Compreensão da linguagem natural.


MediaTek


Hardware de ML: APU + GPU
SDK: NeuroPilot SDK O

NeuroPilot SDK permite solucionar problemas de ML usando a AI Processing Unit (APU) + GPU. A APU é presa sob o modelo Deep Neural Network. Fornece aceleração de hardware para convoluções, camadas totalmente conectadas, funções de ativação, etc. O

NeuroPilot 2.0 permite em tempo real:

  • Rastreamento de pose para várias pessoas;
  • Rastreamento de pose 3D;
  • identificação de múltiplos objetos;
  • segmentação semântica;
  • melhoria de imagem.


Samsung


Hardware ML: NPU
SDK: SDK Samsung Neural / SDK EDEN A
Samsung adicionou um NPU especializado ao Exynos SoC. É composto por duas unidades de acumulação múltipla, afiadas para operações em matrizes.

Ele também fornece o Samsung Neural SDK, que fornece aceleração de hardware para modelos ML usando uma combinação de CPU + GPU + NPU.

maçã


Hardware de ML: NPU
SDK: CoreML SDK

A partir do Apple A11, a Bionic usa NPU. O NPU A13 cresceu para oito núcleos. Um dos principais recursos do novo NPU é o processamento de imagens Deep Fusion: tiramos 9 fotos e as combinamos em uma. Especialmente relevante para filmagens noturnas.

Fornece o CoreML SDK. Como em outros SDKs, fornece aceleração de hardware para modelos de ML. Dos pães - Criar ML - Ambiente apenas de interface do usuário para o treinamento de modelos de ML. Permite que você treine:

  • Detecção de objetos / classificador;
  • Classificador de som;
  • Classificador de movimento;
  • Classificador de texto / marcação de palavras;
  • Classificador tabular;
  • Mecanismo de recomendação.


Links Úteis


Benchmark ML para smartphones Android ;
SDK de processamento neural da Qualcomm ;
HUAWEI HiAI SDK ;
Apple CoreML

Na continuação do material, veremos mais de perto como a NPU funciona. Vamos falar sobre o software necessário para o ML móvel e como usá-lo.

More articles:


All Articles