Get best of the week

Complejo de detección de fumar por foto o video basado en Intel NUC

Intel NUC8i5BEK

En esta publicación, hablaremos sobre cómo resolvimos el problema de determinar el hecho de fumar a través de análisis de video de objetos en Intel NUC. En la entrada, las transmisiones de video de las cámaras de vigilancia que se decodifican se cortan en cuadros en la computadora, y luego cada cuadro (teniendo en cuenta el divisor de velocidad de cuadros) se entrega a una red neuronal que detecta la presencia de un hecho de fumar y devuelve la probabilidad de un evento.

Ahora consideremos con más detalle los problemas, las principales diferencias con respecto a las soluciones existentes en el mercado, así como los indicadores obtenidos de velocidad y número de hilos.

Asuntos Generales


En Rusia, el 1 de junio de 2014, entraron en vigor las nuevas normas de la Ley Antitabaco. La ley contra el tabaco regula las relaciones que surgen en el campo de la protección de la salud de los ciudadanos de los efectos del humo de tabaco circundante y las consecuencias del consumo de tabaco: está prohibido fumar en trenes de larga distancia, en plataformas de pasajeros, en hostales y hoteles, locales comerciales, mercados, cafeterías, bares, restaurantes. .

Para combatir el tabaquismo, muchos estados han introducido una ley que prohíbe fumar en lugares públicos. En todas las oficinas y teatros, se eliminaron las "salas de fumadores", y las salas de fumadores se eliminaron en los establecimientos de restauración.

La introducción de las prohibiciones descritas anteriormente implica controlar el cumplimiento de las normas y reglamentos establecidos. Hasta la fecha, se utilizan una variedad de sensores de polvo y analizadores de gases (por ejemplo, CO2) para este propósito. El principio general de funcionamiento de estos dispositivos es el siguiente:

El principio general de funcionamiento de varios sensores de recolección de polvo y analizadores de gases.

el sensor detecta cambios en el entorno y el microcontrolador de control crea un evento de reacción de acuerdo con un algoritmo predefinido.

Una alternativa a los sensores de recolección de polvo y analizadores de gases puede ser la analítica de video de objetos utilizando redes neuronales, donde la entrada es una transmisión de foto o video de una cámara de vigilancia, y la salida es la probabilidad de la presencia de tabaco u otros compuestos en el marco o conjunto de marcos.

Diagrama general de bloques de un complejo hardware-software


Hay varias opciones para implementar el complejo:

  1. Sistema separado en diseño compacto para instalación en el sitio
  2. Sistema centralizado con transmisión y procesamiento de datos en el centro de datos con la capacidad de utilizar los sistemas de videovigilancia existentes.
  3. Una opción híbrida, cuando parte de los datos se procesan en la vecindad inmediata de la fuente de datos, y parte se procesa en el centro de datos con almacenamiento centralizado de los resultados de ambos sistemas

Consideremos con más detalle:

Diagrama de bloques general de un complejo de hardware y software para la detección de tabaquismo

Composición del complejo cuando se usa en las inmediaciones de la fuente de datos:

  • Cámara IP / cámara con conexión directa o un conjunto de cámaras (utilizadas como fuente de datos).
  • Conmutador (al conectar más de una fuente de datos).
  • Dispositivo ejecutivo, calculadora Intel NUC8i5BEK.

Con el bajo costo del complejo de hardware y software, se resuelven muchas tareas de seguridad importantes y significativas, tales como:

  • Supervisar el cumplimiento de las normas de seguridad contra incendios con alta precisión y con una grabación fotográfica del hecho del delito (incluidos los datos sobre la hora, la fecha y el lugar del delito)
  • Identificación de hechos de delitos en industrias y empresas peligrosas cuyas actividades están asociadas con el uso de inflamables y combustibles y lubricantes.
  • Monitoreo del cumplimiento del régimen interno en instalaciones sensibles

Un caso de uso válido es una arquitectura de servidor, en la que los datos de las cámaras se transmiten al centro de datos para su posterior procesamiento:

Arquitectura del servidor, en la que los datos de las cámaras se transmiten al centro de datos para su posterior procesamiento

al escalar y usar este esquema, como dispositivo para inferencia centralizada, se supone que usa el mismo Intel NUC8i5BEK, pero en un factor de forma diferente (servidor 1U) :

Servidor para ejecutar redes neuronales basadas en 8 Intel NUC8i5BEK

Descripción del principio de detección del hecho de fumar.


Para detectar el hecho de fumar en la foto (cuadros del flujo de video entrante), se utiliza la topología de red neuronal SSD Mobilenet v2 del Open Model Zoo. La red se entrena previamente en el conjunto de datos COCO y se capacita aún más en Tensorflow. Luego, el modelo se convierte a través de Intel OpenVINO para una mayor operación en la CPU / GPU con el fin de optimizar el costo de FPS. Rendimiento del modelo después de la conversión:



total en un solo Intel NUC8i5BEK con un valor de divisor de trama de 5 (25 FPS / 5 = 5 FPS en la entrada), se pueden procesar hasta 40 transmisiones sin tener en cuenta el costo de la decodificación. Cuando se utiliza la decodificación de hardware VAAPI y el último controlador intel-media, los costos de decodificación serán mínimos.

Una de las ventajas del marco Intel OpenVINO es la capacidad de transferir redes entre diferentes dispositivos, por ejemplo, el mismo modelo con modificaciones mínimas se puede ejecutar en CPU, GPU, FPGA, VPU y otros dispositivos.

En aras del experimento, se lanzó un modelo para detectar el hecho de fumar en el Intel Neural Compute Stick 2 basado en Myriad X. Resultados:



Detección de tabaquismo lanzada en Intel Neural Compute Stick 2 basada en Myriad X

basado en PC industriales con placas base de AAEON u otros fabricantes con chips MyriadX integrados, ya puede obtener y usar soluciones industriales.



Para demostrar el funcionamiento de la red neuronal, se implementó el bot Telegram: https://t.me/smokers_recognition_bot . La entrada es la imagen, y la salida es la probabilidad de fumar en ella. Intentamos, miramos, experimentamos ...

La interferencia se realiza en la GPU Intel NUC8i5BEK.



Ventajas de la solución


Se pueden observar las siguientes ventajas:

  • Disponibilidad de procesamiento de datos de múltiples fuentes en un solo lugar
  • Posibilidad de detectar el hecho de fumar a una distancia limitada solo por la distancia focal de la cámara, la fuente de datos, por ejemplo, 5, 50 o 100 m (dichos indicadores no se pueden obtener con sensores y / o dispositivos clásicos)
  • Posibilidad de detectar fumar no solo cigarrillos clásicos, sino también otros dispositivos (por ejemplo, vapores o mezclas para fumar)
  • La capacidad de guardar el hecho del delito (fotodatos y metadatos del evento, como la fecha, hora, ubicación) cuando se fuma en los lugares equivocados
  • Posibilidad de actualizar cámaras existentes con la función de detectar el hecho de fumar y las reacciones a este evento
  • Disponibilidad de integración con sistemas de monitoreo y sistemas de video vigilancia existentes, por ejemplo, Zabbix, Telegraf, Hikvision NVR, etc.

Áreas de aplicación


Considere algunos objetos y problemas para la aplicación del complejo de hardware y software descrito para la detección de tabaquismo en la transmisión de video:

  • Pasillos de centros de negocios y otros edificios y estructuras, escaleras.
  • Escuelas y jardines de infantes (debido a la ineficiencia de los detectores de humo y otras soluciones existentes en espacios abiertos y en zonas expulsadas)
  • Estación de servicio (debido a la ineficiencia de los sensores de humo y otras soluciones existentes en el espacio abierto y en las zonas expulsadas)
  • Metro (debido a la gran área, las alturas del techo y la capacidad de conectar varias cámaras en un solo sistema)
  • (- , )
  • , (- , , )
  • ( )
  • , ( )
  • ( )

,



More articles:


All Articles