Get best of the week

Le secrétaire robot, informateur du bot, thérapeute du bot et autres projets du hackathon en ligne VirusHack

Plus de 70 équipes et plus de 300 personnes de 64 villes ont participé aux travaux sur la piste Megapolis Moscou, qui s'est tenue dans le cadre d'un des plus grands hackathons en ligne du pays, VirusHack.

image

L'événement était organisé par l'Agence d'innovation de Moscou et Rostelecom en partenariat avec l'Association russe des communications électroniques (RAEC).

À la suite du travail coordonné et acharné des équipes de programmeurs et d'experts, cinq des meilleurs projets innovants ont été sélectionnés: un informateur de bot pour ICQ New messenger, un bot thérapeute, un robot secrétaire pour les négociations, une caisse enregistreuse automatisée avec la fonction de paiement sans contact sans voix pour les achats, et aussi un service pour aider les gens handicapées dans l’accès au contenu audiovisuel.

Messenger bot-messenger ICQ Nouveau


Mieux encore, l'équipe EGD BAG a pris en charge la tâche d'ICQ New (Mail.ru Group). Ses participants ont développé un bot d'information pour le nouveau messager ICQ, qui informera les utilisateurs de la propagation de l'infection à coronavirus.

Selon le géotag, les gens peuvent recevoir des informations sur les nouveaux et anciens cas d'infection de citoyens, trouver les adresses des institutions médicales et des laboratoires les plus proches pour passer des tests sur COVID-19 et les adresses des pharmacies et des magasins les plus proches. Le robot contient également un générateur de messages SMS simplifié pour recevoir un laissez-passer électronique.

Pour ajuster les flux de calcul lors de l'écriture du bot, des outils de langage Java standard ont été utilisés. Pour simplifier grandement le travail du bot, une bibliothèque d'API d'ICQ a été choisie. La tâche de simplifier le déploiement du bot dans l'environnement de production a également été résolue: sachant que la norme en matière de développement d'entreprise est désormais Docker, l'équipe EGD BAG a préparé une image Docker.

Le résultat est un produit facile à mettre à niveau et évolutif. La fonctionnalité du bot sera pertinente même après une pandémie: les capacités de recherche de laboratoires sont facilement remplacées par la recherche de centres de fitness, de restaurants et d'autres installations urbaines.

Le bot est disponible dès maintenant sur: github.com/airaketa/egdbag-bot

Paiement sans contact


L'équipe Buckwheat42 a été meilleure que les autres dans la tâche du X5 Retail Group de développer des fonctions d'entrée vocale supplémentaires pour le paiement sans contact pour les achats dans les supermarchés Pyaterochka.

Le projet a été développé en Python. Le prototype est basé sur une technologie open-source pour traduire la parole en texte (parole-à-texte) et un module pour traiter et analyser le texte reçu (Natural Language Understanding). Parmi les bibliothèques disponibles pour convertir la voix en texte, kaldi a été choisi, car il fonctionne rapidement et offre une qualité de reconnaissance relativement élevée non seulement pour le russe, mais aussi pour un certain nombre d'autres langues.

Selon les conditions de la tâche, pour faciliter l'intégration de la solution dans le logiciel de caisse actuel, les demandes vocales de l'acheteur sont transmises à des messages basés sur l'API de caisse actuelle. Pour faciliter le déploiement et les tests, le prototype a été assemblé à l'aide de la technologie Docker.
Pour chaque opération, ce module identifie les intentions (intentions) de l'utilisateur, extrait les noms parlés des produits, ainsi que les codes-barres, les numéros de carte de fidélité, les coupons et autres informations connexes.

La fonction fonctionne sans accès à Internet ou à des services de conversion vocale externes.

Robot de négociation


L'importation de cette équipe a réussi à créer un robot secrétaire à partir de SberCloud. Ce programme est combiné avec tous les services de conversations en ligne, y compris les célèbres Zoom, Skype et Teams, et convient également aux conversations hors ligne.

Le robot secrétaire peut reconnaître la parole, distinguer les voix des interlocuteurs, deviner l'humeur d'une personne par la tonalité des mots prononcés. Il est capable de remarquer quand les gens planifient des réunions et des appels, et d'enregistrer ces tâches dans un calendrier ou un système CRM. Le robot secrétaire traduit la parole humaine en messages texte et, après les négociations, enregistre ces messages dans un fichier doc.

L'équipe Import this development a réalisé la partie technique du robot secrétaire (backend) en langage de programmation Python, et la partie externe (frontend) sur les plateformes logicielles Vue.js et Electron.

Pour la reconnaissance du texte et des voix, l'API Google Cloud Speech a été temporairement utilisée, mais à l'avenir, elle sera remplacée par un modèle plus adapté. Pour analyser les émotions de l'interlocuteur à travers la tonalité du texte, la bibliothèque Dostoïevski a été utilisée. Pour distinguer du texte les dispositions relatives aux appels et aux réunions, la bibliothèque de traitement du langage naturel NLTK a été utilisée.

Accès au contenu audiovisuel pour les personnes handicapées


La société Uma.Tech a dirigé la tâche socialement significative «Égalité des chances», où les équipes participantes ont été proposées pour développer une solution qui simplifie pour les personnes handicapées d'interagir avec la plate-forme PREMIER et avec le site Web MATCH PREMIER ou de percevoir le contenu affiché sur elles.

Dans le cadre de la tâche, les équipes ont trouvé des moyens de simplifier l'accès aux sites et aux médias pour les personnes ayant des problèmes d'audition, de vision, de motricité fine et de concentration. La complexité du hackathon pour les équipes consistait dans le problème de l'énoncé exact du problème - le spectre des options possibles était trop large - et dans le temps limité traditionnel pour le développement. Par conséquent, dans le cadre du hackathon, le jury a accepté à la fois des prototypes valides et des concepts bien développés.

Le gagnant était l'équipe XGBeasts, qui a développé une interface de neuro-ordinateur pour interagir avec les pages Web. Le principe du service est de traiter les données provenant de l'interface neuronale située sur la tête de l'utilisateur. Ces données sont une description des intentions d'une personne d'appuyer sur un bouton spécifique sur un écran d'ordinateur. En utilisant des algorithmes d'intelligence artificielle, ces données sont reconnues, puis le programme appuie sur le bouton sur lequel l'utilisateur souhaite cliquer.

Chatbot thérapeute


Mieux que les autres, la tâche de Mobile Medical Technologies LLC de créer un bot thérapeute a été réalisée par l'équipe de Dev labs. Ses programmeurs ont créé trois solutions à la fois:

  • un chat bot qui peut rapidement déterminer la probabilité d'une maladie COVID-19 et donner une recommandation (contacter un médecin ou appeler une ambulance);
  • un assistant en ligne qui donnera les informations nécessaires ou rassurera le patient au bon moment;
  • un service qui calculera la situation épidémiologique la plus précise dans un rayon de 500 mètres d'une personne.

Pour implémenter l'API Web, la pile de développement de React, Redux, Typescript a été choisie. La partie technique a été implémentée dans Python Flask. La classification des intentions vocales est implémentée à l'aide de la bibliothèque d'apprentissage en profondeur DeepPavlov. Pour implémenter la fonctionnalité de réponse aux questions fréquemment posées sur COVID-19, AzureQnAMaker a été déployé. Grâce à TelegramBot, un service pratique de surveillance de la propagation d'une pandémie a été mis en place.

L'Agence pour l'innovation de Moscou a déclaré que dans un proche avenir, les services développés au sein de la piste Megapolis Moscou seront finalisés avec les partenaires des pistes et pilotés dans leur infrastructure.

More articles:


All Articles