🈹 🌸 ☺️ Complexe de détection du tabagisme par photo ou vidéo basé sur Intel NUC 👩‍👧‍👧 🏇🏻 🈶

Dans cet article, nous expliquerons comment nous avons résolu le problème de la détermination du fait de fumer grâce à l'analyse vidéo d'objets sur Intel NUC. En entrée, les flux vidéo des caméras de surveillance qui sont décodés sont découpés en images sur l'ordinateur, puis chaque image (en tenant compte du diviseur de fréquence d'images) est transmise à un réseau de neurones qui détecte la présence d'un fait de fumer et renvoie la probabilité d'un événement.

Examinons maintenant plus en détail les problèmes, les principales différences par rapport aux solutions existantes sur le marché, ainsi que les indicateurs de vitesse et de nombre de threads obtenus.

Questions générales

En Russie, le 1er juin 2014, de nouvelles normes de la loi anti-tabac sont entrées en vigueur. La loi contre le tabac régit les relations nées dans le domaine de la protection de la santé des citoyens contre les effets de la fumée de tabac environnante et les conséquences de la consommation de tabac: il est interdit de fumer dans les trains longue distance, sur les quais de voyageurs, dans les auberges et les hôtels, les commerces, les marchés, les cafés, les bars, les restaurants .

Afin de lutter contre le tabagisme, de nombreux États ont introduit une loi interdisant de fumer dans les lieux publics. Dans tous les bureaux et théâtres, les «fumoirs» ont été supprimés et les fumoirs ont été supprimés dans les établissements de restauration.

L'introduction des interdictions décrites ci-dessus implique le contrôle du respect des règles et réglementations établies. À ce jour, une variété de capteurs de poussière et d'analyseurs de gaz (par exemple CO2) sont utilisés à cette fin. Le principe général de fonctionnement de ces appareils est le suivant:

Le principe général de fonctionnement de divers capteurs de collecte de poussière et analyseurs de gaz

le capteur détecte les changements de l'environnement et le microcontrôleur de contrôle crée un événement de réaction selon un algorithme prédéterminé.

Une alternative aux capteurs de collecte de poussière et aux analyseurs de gaz peut être l'analyse vidéo d'objets à l'aide de réseaux de neurones, où l'entrée est un flux photo ou vidéo d'une caméra de surveillance, et la sortie est la probabilité de présence de tabac ou d'autres composés dans le cadre ou l'ensemble de cadres.

Schéma fonctionnel général d'un complexe matériel-logiciel

Il existe plusieurs options pour implémenter le complexe:

Système séparé de conception compacte pour une installation sur site
Système centralisé avec transmission et traitement des données dans le centre de données avec la possibilité d'utiliser les systèmes de vidéosurveillance existants
Une option hybride, lorsqu'une partie des données est traitée à proximité immédiate de la source de données, et qu'une partie est traitée dans le centre de données avec stockage centralisé des résultats des deux systèmes

Examinons-les plus en détail:

Schéma fonctionnel général d'un complexe matériel-logiciel pour la détection du tabagisme

Composition du complexe lorsqu'il est utilisé à proximité immédiate de la source de données:

Caméra IP / caméra avec connexion directe ou un ensemble de caméras (utilisées comme source de données).
Commutateur (lors de la connexion de plusieurs sources de données).
Appareil exécutif, calculatrice Intel NUC8i5BEK.

Avec le faible coût du complexe matériel et logiciel, de nombreuses tâches de sécurité importantes et importantes sont résolues, telles que:

Contrôler le respect des règles de sécurité incendie avec une grande précision et avec un enregistrement photographique du fait de l'infraction (y compris des données sur l'heure, la date et le lieu de l'infraction)
Identification des faits d'infractions dans les industries et entreprises dangereuses dont les activités sont associées à l'utilisation de combustibles inflammables et de carburants et lubrifiants
Surveillance du respect du régime interne dans les installations sensibles

Un cas d'utilisation valide est une architecture de serveur, dans laquelle les données des caméras sont transmises au centre de données pour un traitement ultérieur:

Architecture de serveur, dans laquelle les données des caméras sont transmises au centre de données pour un traitement ultérieur

lors de la mise à l'échelle et de l'utilisation de ce schéma, en tant que périphérique pour l'inférence centralisée, il est supposé utiliser le même Intel NUC8i5BEK, mais dans un facteur de forme différent (serveur 1U) :

Serveur pour l'exécution de réseaux de neurones basé sur 8 Intel NUC8i5BEK

Serveur pour l'exécution de réseaux de neurones basé sur 8 Intel NUC8i5BEK

Description du principe de détection du fait de fumer

Pour détecter le fait de fumer sur la photo (images du flux vidéo entrant), la topologie du réseau neuronal SSD Mobilenet v2 du Open Model Zoo est utilisée. Le réseau est pré-formé sur le jeu de données COCO et formé sur Tensorflow. Ensuite, le modèle est converti via Intel OpenVINO pour une opération ultérieure sur le CPU / GPU afin d'optimiser le coût des FPS. Performances du modèle après conversion:

Total sur un seul Intel NUC8i5BEK avec une valeur de diviseur de trame de 5 (25 FPS / 5 = 5 FPS en entrée), jusqu'à 40 flux peuvent être traités sans prendre en compte le coût du décodage. Lorsque vous utilisez le décodage matériel VAAPI et le dernier pilote Intel Media, les coûts de décodage seront minimes.

L'un des avantages du cadre Intel OpenVINO est la possibilité de transférer des réseaux entre différents appareils, par exemple, le même modèle avec une modification minimale peut être exécuté sur CPU, GPU, FPGA, VPU et autres appareils.

Pour les besoins de l'expérience, un modèle pour détecter le fait de fumer a été lancé sur le Intel Neural Compute Stick 2 basé sur Myriad X. Résultats:

Lancement de la détection du tabagisme sur Intel Neural Compute Stick 2 basé sur Myriad X

Basé sur des PC industriels avec des cartes mères AAEON ou d'autres fabricants avec des puces MyriadX intégrées, vous pouvez déjà obtenir et utiliser des solutions industrielles.

Pour démontrer le fonctionnement d'un réseau de neurones, le bot Telegram a été implémenté - https://t.me/smokers_recognition_bot . L'entrée est l'image, et la sortie est la probabilité du fait de fumer dessus. Nous essayons, regardons, expérimentons ...

L'interférence est effectuée sur le GPU Intel NUC8i5BEK.

Avantages de la solution

On peut noter les avantages suivants:

Disponibilité des données de traitement provenant de plusieurs sources en un seul endroit
Possibilité de détecter le fait de fumer à une distance limitée uniquement par la distance focale de la caméra, source de données, par exemple 5, 50 ou 100 m (de tels indicateurs ne peuvent pas être obtenus avec des capteurs et / ou appareils classiques)
Possibilité de détecter le tabagisme non seulement des cigarettes classiques, mais aussi d'autres appareils (par exemple, des vapos ou des mélanges à fumer)
La possibilité de sauvegarder le fait de l'infraction (photo et métadonnées d'événement, telles que la date, l'heure, le lieu) en fumant au mauvais endroit
Possibilité de moderniser les chambres existantes avec une fonction de détection du fait de fumer et des réactions à cet événement
Disponibilité de l'intégration avec les systèmes de surveillance et les systèmes de vidéosurveillance existants, par exemple, Zabbix, Telegraf, Hikvision NVR, etc.

Zone d'application

Considérez certains objets et problèmes pour l'application du complexe matériel-logiciel décrit pour la détection du tabagisme dans le flux vidéo:

Couloirs de centres d'affaires et autres bâtiments et structures, cages d'escalier
Écoles et jardins d'enfants (en raison de l'inefficacité des détecteurs de fumée et d'autres solutions existantes dans les espaces ouverts et dans les zones soufflées)
Station-service (en raison de l'inefficacité des capteurs de fumée et d'autres solutions existantes dans l'espace ouvert et dans les zones soufflées)
Metro (en raison de la grande surface, des hauteurs de plafond et de la possibilité de connecter plusieurs caméras en un seul système)
(- , )
, (- , , )
( )
, ( )
( )

Complexe de détection du tabagisme par photo ou vidéo basé sur Intel NUC

Questions générales

Schéma fonctionnel général d'un complexe matériel-logiciel

Description du principe de détection du fait de fumer

Avantages de la solution

Zone d'application

More articles: