Get best of the week

Complexo de detecção de fumantes por foto ou vídeo, com base na Intel NUC

Intel NUC8i5BEK

Neste post, falaremos sobre como resolvemos o problema de determinar o fato de fumar por meio da análise de vídeo por objeto na Intel NUC. Na entrada, os fluxos de vídeo das câmeras de vigilância decodificadas são cortados em quadros no computador e, em seguida, cada quadro (considerando o divisor da taxa de quadros) é fornecido a uma rede neural que detecta a presença de um fato de fumar e retorna a probabilidade de um evento.

Agora, vamos considerar com mais detalhes os problemas, as principais diferenças em relação às soluções existentes no mercado, bem como os indicadores obtidos para velocidade e número de threads.

Problemas gerais


Na Rússia, em 1º de junho de 2014, novas normas da Lei Antitabaco entraram em vigor. A lei contra o tabaco regula as relações que surgem no campo da proteção da saúde dos cidadãos contra os efeitos da fumaça do cigarro e as consequências do consumo de tabaco: é proibido fumar em trens de longa distância, plataformas de passageiros, pousadas e hotéis, estabelecimentos de varejo, mercados, cafés, bares, restaurantes .

Para combater o tabagismo, muitos estados introduziram uma lei que proíbe o fumo em locais públicos. Em todos os escritórios e teatros, as “salas para fumantes” foram eliminadas e as salas para fumantes foram removidas nos estabelecimentos de restauração.

A introdução das proibições descritas acima implica monitorar a conformidade com as regras e regulamentos estabelecidos. Até o momento, uma variedade de sensores de poeira e analisadores de gás (por exemplo, CO2) são usados ​​para esse fim. O princípio geral de operação desses dispositivos é o seguinte:

O princípio geral de operação de vários sensores de coleta de poeira e analisadores de gás

O sensor detecta mudanças no ambiente e o microcontrolador de controle cria um evento de reação de acordo com um algoritmo predeterminado.

Uma alternativa aos sensores de coleta de poeira e analisadores de gás pode ser a análise de vídeo por objeto usando redes neurais, onde a entrada é um fluxo de foto ou vídeo de uma câmera de vigilância e a saída é a probabilidade da presença de tabaco ou outros compostos no quadro ou conjunto de quadros.

Diagrama de blocos geral de um complexo de hardware e software


Existem várias opções para implementar o complexo:

  1. Sistema separado em design compacto para instalação no local
  2. Sistema centralizado com transmissão e processamento de dados no data center, com a capacidade de usar os sistemas de vigilância por vídeo existentes
  3. Uma opção híbrida, quando parte dos dados é processada nas imediações da fonte de dados e parte é processada no datacenter com armazenamento centralizado dos resultados de ambos os sistemas

Vamos considerá-los com mais detalhes:

Diagrama de blocos geral de um complexo de hardware e software para detecção de tabagismo

Composição do complexo quando usado nas imediações da fonte de dados:

  • Câmera IP / câmera com conexão direta ou um conjunto de câmeras (usada como fonte de dados).
  • Switch (ao conectar mais de uma fonte de dados).
  • Dispositivo executivo, calculadora Intel NUC8i5BEK.

Com o baixo custo do complexo de hardware e software, muitas tarefas de segurança são resolvidas, como:

  • Monitorar a conformidade com as regras de segurança contra incêndio com alta precisão e com a gravação de fotos do fato da infração (incluindo dados sobre hora, data, local da infração)
  • Identificação de fatos de ofensas em indústrias e empresas perigosas cujas atividades estão associadas ao uso de inflamáveis, combustíveis e lubrificantes
  • Monitorando a conformidade com o regime interno em instalações sensíveis

Um caso de uso válido é uma arquitetura de servidor, na qual os dados das câmeras são transmitidos ao datacenter para processamento adicional:

Arquitetura do servidor, na qual os dados das câmeras são transmitidos ao data center para processamento adicional

ao escalonar e usar esse esquema, como dispositivo de inferência centralizada, supõe-se que você use o mesmo Intel NUC8i5BEK, mas com um fator de forma diferente (servidor 1U) :

Servidor para executar redes neurais baseadas em 8 Intel NUC8i5BEK

Descrição do princípio de detecção do fato de fumar


Para detectar o fato de fumar na foto (quadros do fluxo de vídeo recebido), é usada a topologia de rede neural SSD Mobilenet v2 do Open Model Zoo. A rede é pré-treinada no conjunto de dados COCO e mais treinada no Tensorflow. Em seguida, o modelo é convertido pelo Intel OpenVINO para operação adicional na CPU / GPU, a fim de otimizar o custo do FPS. Desempenho do modelo após a conversão:



total em um único Intel NUC8i5BEK com um valor de divisor de quadros de 5 (25 FPS / 5 = 5 FPS na entrada), até 40 fluxos podem ser processados ​​sem levar em consideração o custo da decodificação. Ao usar a decodificação de hardware VAAPI e o driver de mídia mais recente da Intel, os custos de decodificação serão mínimos.

Uma das vantagens da estrutura Intel OpenVINO é a capacidade de transferir redes entre dispositivos diferentes, por exemplo, o mesmo modelo com modificações mínimas pode ser executado na CPU, GPU, FPGA, VPU e outros dispositivos.

Para o experimento, um modelo para detectar o fato de fumar foi lançado no Intel Neural Compute Stick 2 baseado no Myriad X. Resultados:



Lançamento da detecção de fumo no Intel Neural Compute Stick 2, baseado na miríade X

Com base em PCs industriais com placas-mãe da AAEON ou outros fabricantes com chips MyriadX integrados, você já pode obter e usar soluções industriais.



Para demonstrar a operação de uma rede neural, o robô Telegram foi implementado - https://t.me/smokers_recognition_bot . A entrada é a imagem e a saída é a probabilidade do fato de fumar nela. Tentamos, assistimos, experimentamos ...

A interferência é realizada na GPU Intel NUC8i5BEK.



Benefícios da solução


As seguintes vantagens podem ser observadas:

  • Disponibilidade de processamento de dados de várias fontes em um único local
  • Possibilidade de detectar o fato de fumar a uma distância limitada apenas pela distância focal da câmera, fonte de dados, por exemplo, 5, 50 ou 100 m (esses indicadores não podem ser obtidos com sensores e / ou dispositivos clássicos)
  • Possibilidade de detectar não apenas os cigarros clássicos, mas também outros dispositivos (por exemplo, vapes ou misturas para fumar)
  • A capacidade de salvar o fato da ofensa (metadados de fotos e eventos, como data, hora, local) ao fumar em lugares errados
  • Possibilidade de retromontar câmaras existentes com a função de detectar o fato de fumar e reações a esse evento
  • Disponibilidade de integração com sistemas de monitoramento e sistemas de vigilância por vídeo existentes, por exemplo, Zabbix, Telegraf, Hikvision NVR, etc.

Áreas de aplicação


Considere alguns objetos e problemas para a aplicação do complexo de hardware e software descrito para detecção de fumo no fluxo de vídeo:

  • Corredores de centros de negócios e outros edifícios e estruturas, escadas
  • Escolas e jardins de infância (devido à ineficiência de detectores de fumaça e outras soluções existentes em espaços abertos e em zonas sopradas)
  • Posto de gasolina (devido à ineficiência de sensores de fumaça e outras soluções existentes no espaço aberto e nas zonas sopradas)
  • Metro (devido à grande área, altura do teto e capacidade de conectar várias câmeras em um único sistema)
  • (- , )
  • , (- , , )
  • ( )
  • , ( )
  • ( )

,



More articles:


All Articles