🥗 👭 💅🏼 Cinq étapes pour accepter l'inévitable, ou comment nous avons développé un programme de profilage automatisé 🐯 ⚱️ 🅾️

Bonjour, je suis en contact avec Alexey Filatov (alias afilatov123) En 2017, j'ai été invité dans l'équipe SearchInform pour lancer une nouvelle solution logicielle. Plus précisément, pour augmenter les capacités du produit phare - le système DLP . Non seulement le marché sait comment utiliser des logiciels (prévenir les fuites d'informations et la fraude d'entreprise). Les clients veulent que le programme puisse prédire le comportement des utilisateurs: «cet employé se prépare au licenciement, ce qui signifie qu'il peut…» ou «une personne est stressée et fera probablement une erreur». Et ces prévisions doivent être faites avec une grande précision et dans un format automatisé.

Pour résoudre ce problème, les fournisseurs suivent généralement le chemin de l'UEBA (ou UBA). Mais nous avons suivi notre propre chemin et commencé à créer un profilage automatisé.

Under the cut - l'histoire de la voie que nous avons empruntée pour que le produit ait lieu.

Je précise tout de suite que le profilage automatisé avec de grandes réservations peut également être appelé analyse du comportement des utilisateurs. Mais la différence de méthodes est importante, nous aimerions trier la confusion en termes dans l'un des prochains articles (ou même une longue histoire se transformera en une chronique sans fin).

Le profilage est donc une technique de longue date, mais uniquement dans un format hors ligne. Dans ce monde hors ligne, il existe des profileurs spécialisés qui, sur la base de l'analyse de la parole, des intonations, des expressions faciales, tirent des conclusions sur l'état émotionnel, les qualités personnelles d'une personne, ses inclinations criminelles, etc. Garder un profileur (et de préférence une douzaine) dans le personnel même d'une entreprise riche est une utopie. D'où l'idée d'un programme qui remplace les têtes brillantes.

Nous avons commencé à travailler sur ProfileCenteravec le choix de ce qui deviendra la «matière première» pour l'analyse. Il n'y a pas beaucoup d'options:

langue parlée - pour évaluer les caractéristiques linguistiques et vocales;
écriture au clavier;
Trafic Internet et autres modèles d'interaction des utilisateurs avec un ordinateur;
expressions faciales;
textes utilisateur.

Spoiler - nous avons pris les textes en développement, mais je vais d'abord expliquer brièvement pourquoi les autres options ont été éliminées.

La parole est une source d'information accessible, car les fournisseurs veulent travailler avec elle. Oui, et il y a de bons développements scientifiques dans l'évaluation de la parole. En particulier, les plus notables sont les travaux de Tim Polzehl, par exemple, Personality in Speech . Et aussi Swati Johar, Koteswara Rao Anne, K. Srinivasa Rao, Ute Jekosch. Mais alors que la technique est considérée comme brute: les analyseurs vocaux sont capables d'identifier correctement le niveau de stress, mais leur capacité à déterminer de manière fiable les caractéristiques personnelles a été remise en question par de nombreux experts.

Une autre option pour travailler avec un discours oral est de le traduire en texte écrit afin de l'analyser davantage en tant que texte. Et bien sûr, nous avons également testé les outils de traduction de la parole en lettres. Mais jusqu'à présent, la plupart des outils hors ligne pour la qualité de la reconnaissance ne nous convenaient pas.

Modèles de comportement- indicateurs statistiques d'utilisation de l'ordinateur. Par exemple, le temps qu'une personne passe dans une application, un programme particulier, le nombre de lettres qu'elle envoie, etc. Les projets UEBA (UBA) bien connus fonctionnent essentiellement avec ces informations, révélant que, par exemple, une personne a soudainement commencé à envoyer non pas 10, mais 100 lettres par jour (ce qui signifie que vous devez le regarder). Mais cette technologie n'a pas encore donné de bons résultats objectivement en termes de prédiction du comportement de l'utilisateur et - encore une fois - d'évaluation de ses caractéristiques personnelles.

Un paramètre relativement intéressant ici est l'analyse du trafic et des requêtes de recherche, mais il parle plutôt des intérêts réels de l'utilisateur, plutôt que de son caractère et de sa personnalité.

Analyse faciale- C'est l'une des méthodes les plus développées. Mais dans la communauté scientifique, de plus en plus de personnes ont commencé à douter de la justesse de cette approche, car de nombreuses informations sont apparues selon lesquelles les expressions faciales ne reflètent pas toujours l'état émotionnel d'une personne et sont très «bruyantes».

Avec cela, je suis également, en tant que personne directement familiarisée avec le FACS (Facial Action Coding System). Une évaluation des émotions peut être principalement utile compte tenu du contexte et de la relation exacte entre stimulus et réaction. Dans nos conditions, malheureusement, il est impossible de suivre. De plus, si vous développez l'idée plus avant, vous devrez faire face à une analyse physionomique, ce qui est déjà chargé de recherches dans le domaine des connaissances non scientifiques.

Écriture du clavierjusqu'à ce qu'il rencontre un grand scepticisme dans la communauté scientifique, il existe des dizaines d'ouvrages qui ont étudié la question de l'identification des traits de personnalité par la façon dont une personne «frappe les clés», mais ces travaux n'ont pas encore été mis en œuvre dans des modèles pratiques.

Désormais, cette technologie est étroitement spécialisée dans l'analyse de la manière dont une personne saisit un nom d'utilisateur et un mot de passe et peut être utilisée pour identifier une personne. L'analyse des textes arbitraires n'est pas développée. Mais même en tenant compte de ces limitations, l'écriture manuscrite du clavier à partir de toutes les sources d'information ci-dessus est la plus intéressante pour nous, qui est appelée «grandir».

Et enfin, l' analyse de texte. La plus étudiée et la plus éprouvée, car la langue écrite est un produit direct de la pensée. Il reflète les schémas de pensée, la structure interne de la personnalité, les préférences, les valeurs et d'autres caractéristiques. Le lien entre la pensée et la parole est étudié par deux sciences: la psycholinguistique dans une plus grande mesure, la psychosémantique dans une moindre mesure. Ce n'est pas seulement nous qui avons intégré le langage écrit dans le développement, ABBYY et Google l'utilisent comme source d'informations pour leurs produits - et bien d'autres.

Il y a un autre avantage purement technique à choisir la langue écrite comme base d'analyse - ils sont nombreux, ils sont assemblés avec succès par le système DLP avec lequel ProfileCenter s'intègre. Donc, le choix était prédéterminé.

Qu'est-ce que le bruit et comment nettoyer le texte

Ainsi, nous avons enregistré que le discours écrit est devenu pour nous la principale source d'information pour le programme. La prochaine étape du travail est la création d'un algorithme pour nettoyer la parole du "bruit", normaliser le texte. Supprimer du «bruit» signifie supprimer des éléments du texte qui ne portent pas de charge sémantique et n'ont aucune valeur pour l'analyse. Le démarrage a été facile: nombres abstraits, mots latins, fautes de frappe, quelques images - toutes attribuées au bruit.

Avec la ponctuation, tout s'est avéré plus compliqué. Loin de tout mettre un point à la fin de la phrase dans la correspondance du ménage et il fallait apprendre comment commencer à déterminer où elle devait se situer. La présence et le nombre de virgules est également un paramètre important. Dans le même temps, dans la correspondance Skype ou les réseaux sociaux, les signes de ponctuation sont pratiquement ignorés.

Une autre difficulté a été d'isoler la communication informelle de la correspondance et d'analyser les textes dans lesquels le salarié dépasse le cadre de ses fonctions professionnelles et officielles. La première source que nous avons connectée au module est le courrier. Les phrases standard introductives ont été exclues de ce texte (bonjour, avec respect, signature, etc.) et seule la partie substantielle de la correspondance a été portée à l'analyse. Cependant, les gens écrivent principalement des lettres d'affaires sèches par courrier électronique et, si vous connectez d'autres sources d'informations (messagers d'entreprise, réseaux sociaux, etc.), nous obtiendrons un résultat plus précis.

La prochaine étape de l'analyse comprenait également la correspondance des messagers d'entreprise, Skype, Viber, WhatsApp, Lync, Telegram et les réseaux sociaux.

Travailler avec du texte effacé

Vous avez un texte clair. L'étape suivante, aussi la plus difficile, est la construction de psychotypes utilisateurs à partir de ce texte. Dans notre appareil conceptuel, le «psychotype» est un système de stéréotypes comportementaux, d'attitudes individuelles et de valeurs, de traits de personnalité motivationnels, émotionnels et communicatifs nécessaires pour décrire la différence entre les personnes.

Il existe de nombreuses psychotypologies dans les travaux des scientifiques, mais dans l'ensemble elles se reproduisent. Nous nous sommes davantage appuyés sur les travaux de Lichko, Leongard, Sobchik, Glukhov, Kosinski, Saligman, Belyanin et sur le modèle de profilage structurellement dynamique Psychea .

Du fait de la synthèse de ces typologies, nous nous appuyons désormais sur huit psychotypes aux noms conventionnels: hystéroïde, épileptoïde, paranoïaque, émotif, anxieux, hyperthymique, schizoïde et critique.

Mais comment analyser le texte dans un format automatisé afin d'attribuer son auteur à l'un des huit types?

La première hypothèse était la suivante: pour chaque psychotype, vous devez créer un dictionnaire lexical, trouver des correspondances dans le vocabulaire de la personne et l'affecter à l'un des huit types. Par exemple, on sait que les personnes de type schizoïde utilisent plus souvent des mots de basse fréquence («muzle» au lieu de «fil» ou «octotorp» au lieu de #) et longues, et les verbes d'amour de type épileptoïde plus que les autres.

Mais ce sont des conclusions au niveau des observations empiriques. Si vous essayez de les traduire en algorithmes, l'idée devient irréalisable: les dictionnaires sont trop volumineux, il faut attribuer un poids à chaque mot (sa signification dans la formule générale du type). Qui peut attribuer ce poids? Profileur expert. Supposons qu'il existe même un tel "Alexey Filatov" abstrait qui prendra la peine de pelleter tous les mots de la langue russe pour voir comment chacun correspond au lexique d'un schizoïde ou d'un épileptoïde. Mais même dans une version aussi utopique, ce sera une évaluation subjective d'un expert particulier.

Mais les dictionnaires de la fréquence des mots qu'une personne utilise en fonction de la gravité des qualités individuelles de la personnalité est une question complètement différente. Les chercheurs en psycholinguistique en ont. Mais même alors, par sa signification pour l'analyse, cette variable dans la formule n'est pas en premier lieu. Parce que beaucoup plus important n'est pas ce que la personne dit, mais comment: quelles parties du discours qu'elle utilise, comment elle compose les phrases, laquelle utilise la morphologie, etc. Beaucoup de ces paramètres sont décrits dans le corpus de la langue russe, et c'est déjà le point de départ pour la préparation des formules.

Un autre point important. Afin de dire sur la gravité de certaines qualités personnelles chez une personne, vous avez besoin d'un point de départ. Une personne ne peut être simplement motivée pour de l'argent ou simplement pour un conflit, elle n'est motivée ou en conflit qu'en comparaison avec quelqu'un d'autre. Par conséquent, la «norme» conditionnelle du programme est la valeur médiane des qualités personnelles dans l'équipe. Son nombre minimum pour le calcul correct de la valeur médiane doit être de 20 personnes.

En conséquence, l'algorithme de calcul - à partir du moment où le texte de l'utilisateur a été collecté jusqu'à la classification finale de l'un ou l'autre psychotype - a été choisi comme suit:

extraire le texte utilisateur non structuré des messages;
nous définissons des mots dans un texte non structuré qui coïncident avec des dictionnaires de qualités personnelles;
déterminer la valeur du poids des mots sur la base de la fréquence des mots dans un texte non structuré;
déterminer les caractéristiques des qualités personnelles;
nous déterminons les indicateurs de l'expression quantitative des qualités personnelles de l'utilisateur, en comparant ses caractéristiques avec des indicateurs médians pour tous les utilisateurs de l'équipe;
déterminer le psychotype de l'utilisateur.

Il a été décidé que dans l'interface du programme, l'utilisateur en la personne d'un spécialiste de la sécurité ou des RH ne voit pas le résultat des calculs sous la forme d'un psychotype, mais une étape intermédiaire des calculs. C'est-à-dire la disposition des qualités personnelles. C'est plus informatif. Et nous affichons le psychotype lui-même dans le soi-disant rapport étendu.

Test d'hypothèse et raffinement des formules

Nous avons décidé de l'algorithme de calcul. Comment vérifier la formule et comment ajuster sur qui vérifier? À ces fins, les employés de SearchInform eux-mêmes sont devenus les sujets de test - ils ont sélectionné 102 personnes. Avec l'aide de collègues profileurs, je les ai profilés manuellement. Les sujets ont subi trois questionnaires standardisés: le questionnaire 5PFQ (dit «Big Five»), le questionnaire Schwartz, les questionnaires LN Sobchik SMIL et ITO. Ensuite, nous avons comparé les résultats avec les données produites par le programme.

Sur les échelles, les résultats étaient différents - de 57% à 94%. Les échelles d'extraversion / introversion, d'anxiété, de conflit, d'activité, etc. ont été parfaitement déterminées, les résultats se sont avérés pires, par exemple en termes d '«ambitieux».

Selon les statistiques obtenues, la formule a été ajustée, en conséquence, nous y avons «cousu» plus de 70 variables (par exemple, l'indice de voix passive, l'indice de longueur de mot, les phrases, les noms propres, etc.) et le poids de chacun.

Il a fallu beaucoup de temps pour déterminer la quantité minimale suffisante de documents écrits à analyser. Maintenant, nous avons établi 20 000 lemmes (un lemme est une forme invariable d'un mot). Mais ils ont commencé l'analyse avec 50 000, réduisant ce volume par incréments de 5 000.

L'une des questions les plus courantes est la suivante: pourquoi n'avons-nous toujours pas réalisé la possibilité d'évaluer un texte d'utilisateur tiers provenant de sources ouvertes? Comme, pourquoi attendre l'accumulation de 20 mille lemmes, si vous pouvez prendre le texte d'un utilisateur spécifique sur le réseau et l'analyser selon les mêmes critères? Techniquement, cela est possible, mais les informations doivent ensuite être chargées dans le programme non pas par une seule personne, mais par le collectif d'employés ou de personnes de professions similaires (décrit ci-dessus pourquoi).

Contrôle et limite de combat

Lorsque le modèle de travail a été prêt - il y a environ deux ans - ils ont commencé à tester (MVP) le programme non seulement sur leurs propres employés, mais également sur les employés de plusieurs dizaines de clients qui ont accepté de participer à l'expérience. En octobre-novembre 2018, ils ont reçu un produit qui fonctionne bien. Nous étions sûrs qu’il fournissait des données qualitatives sur les qualités personnelles principales (que nous pouvons vérifier à l'aide du questionnaire).

La précision des résultats du module fini a été évaluée par des profileurs experts et des clients à 75–80%. Pour une tâche dont personne n'a proposé la solution auparavant, ce sont de bons indicateurs. L'essentiel est que cela soit suffisant pour résoudre les problèmes commerciaux.

Il y a des lignes que nous ne pouvons toujours pas dépasser. Pour créer un portrait psychologique aussi qualitativement que possible, vous avez besoin de deux ou quatre modalités: texte, intonation, trafic, etc. Lorsque nous ajoutons la voix, les réseaux sociaux et l'analyse d'écriture manuscrite au module, la qualité de la mise en œuvre sera encore meilleure. Mais ces tâches sont résolues assez difficiles (décrites ci-dessus). Chaque pourcentage ultérieur de précision dans le calcul de notre module est donné avec une difficulté croissante.
Nous rencontrons à peu près les mêmes limites lorsque nous essayons de créer des profils pour les personnes qui écrivent un peu et dont le vocabulaire, franchement, est pauvre. Nous parlons des utilisateurs dont la communication est réduite à "bonjour", "ok" et "viens". Il est difficile de construire un profil correct uniquement sur la base d'un discours écrit à leur sujet.

Et ce qui est arrivé? Profil abrégé - ce qu'il contient

Le produit de toutes les recherches décrites ci-dessus est un bref profil de personnalité. Comme je l'ai dit, il s'agit d'informations primaires, les «matières premières», afin d'en tirer des conclusions plus détaillées à la fois sur une personne et sur l'équipe.

Dans le profil court, nous devions créer un portrait de l'utilisateur qui refléterait des caractéristiques fondamentalement importantes du point de vue d'un spécialiste de la sécurité et d'un service de sécurité de l'information: forces / faiblesses, différences fondamentales entre un employé et d'autres utilisateurs, type général, tendances criminelles, valeurs et recommandations.

Par conséquent, dans le profil court, nous distinguons les trois traits de personnalité les plus forts et les trois plus faibles.
Cela ressemble, par exemple, à ceci:

(Ceci, soit dit en passant, est une capture d'écran du profil d'un leader fort).

Ensuite, nous composons un index des qualités personnelles. Pourquoi avons-nous besoin de lui? Tous les traits de personnalité ne sont pas identiques ... stables. La manifestation de certains dépend fortement du contexte, et sans point de départ, il est impossible de conclure que la qualité est exprimée.

Par exemple, quand peut-on dire d'une personne qu'elle est en conflit? Quand commence-t-il à jurer? Battre les autres? Tirer? Mais si nous concluons qu'il existe un conflit par rapport à la qualité opposée (dans une dichotomie), nous pouvons comprendre à quel point les deux sont prononcés. Autrement dit, une personne est plus réactive, polie que le conflit.

Nous identifions également les tendances criminelles dans un profil court (n'oubliez pas que notre ProfileCenter est un produit principalement destiné aux services de sécurité).

Afin d'identifier les risquespour chaque profil, ils se sont à nouveau tournés vers la psychologie, mise en évidence dans le langage des risques économiques et de sécurité de l'information inhérents aux qualités personnelles. Par exemple, conflit, bavardage, une sombre triade de personnalité (manipulabilité), qualités de leadership, émotivité. Il existe des études qui ont permis à ces données de comparer et de tirer des recommandations. Ici, nous nous sommes concentrés sur un grand nombre de travaux non seulement dans le domaine de la criminologie, de la psychologie criminelle et du profilage criminel, mais aussi sur la sécurité du personnel et la gestion des risques du personnel.
Pour calculer l'ambition, nous avons compilé nos propres formules linguistiques. Pour la sélection des formules variables pour le calcul des valeurs de base, les développements scientifiques de Belyanin et Schwartz ont été pris.

Voilà à quoi tout cela ressemble complètement. Rapport de profil abrégé:

Évaluations, rapports avancés et dynamique de profil

Et après? Ayant des informations sur les qualités personnelles, nous avons commencé à créer des évaluations, car c'est une fonction utile pour notre public cible - les spécialistes des services de sécurité et les spécialistes de la sécurité de l'information en particulier. Ils nous ont dit: nous avons 5 000 utilisateurs, vous ne pouvez pas suivre tout le monde. Si vous pouviez restreindre notre attention (identifier les groupes à risque), nous saurions qui surveiller de plus près.

La complexité à ce stade n'était pas technologique, mais méthodologique. Puisqu'il ne suffit pas de prendre et d'évaluer tous les utilisateurs pour chaque qualité. Pour les services de sécurité, les traits de personnalité «synthétiques» sont informatifs, c'est-à-dire non pas des conflits, mais des scandales, pas un désir d'interaction, mais un leadership. Le scandale et le leadership comprennent plusieurs indicateurs d'un profil court. Pour compiler une formule pour chaque note, pour déterminer le poids de chaque qualité, nous nous sommes à nouveau tournés vers la psychosémantique et la psycholinguistique. Nous avons traité au moins 35 œuvres en russe et en anglais. En conséquence, le programme donne maintenant 12 notes , sur la base desquelles vous pouvez créer la vôtre.

Les évaluations peuvent déterminer les groupes de risque des employés qui se préparent à un licenciement, démotivés, agressifs, scandaleux, etc. Et vice versa, en utilisant les évaluations, vous pouvez créer des groupes de réserve pour le personnel. Soit dit en passant, nous sommes très bons pour prédire le licenciement d'un employé, son épuisement professionnel et son potentiel de leadership élevé.

En principe, les mêmes tâches techniques et méthodologiques de la psycholinguistique étaient également présentes lors de la création d'un profil étendu et d'une dynamique de profil - en choisissant des variables pour les formules et en déterminant le poids de chaque valeur.

Dans le profil étendufait des rapports supplémentaires qui élargissent considérablement la portée du programme, car en substance, ils fournissent des informations sur les compétences de base de l'utilisateur. Ils sont généralement évalués par les responsables du personnel et les responsables des compétences SHL (besoin de pouvoir et de contrôle, de consentement, d'extraversion, d'intellect général, d'ouverture au nouveau, d'engagement, de stabilité émotionnelle, de motivation pour les réalisations).

Dynamique des changements de profil - selon le rapport, vous pouvez recevoir des avertissements si quelque chose arrive à une personne, si elle éclate dans les leaders des classements importants pour les spécialistes de la sécurité de l'information.

J'attache une grande importance au fait que nous ayons pu créer un rapport sur la dynamique. Pourquoi était-ce important de le faire? Si, après 2 à 4 mois, le profil et les notes de l'utilisateur après plusieurs recalculs sont généralement stables, cela indique que le comportement dit de l'utilisateur typique a été trouvé.

Cela signifie que la tâche clé de l'analyse comportementale en sécurité de l'information a été résolue.

Interface

Mais curieusement, il a fallu bricoler non seulement des problèmes techniques et méthodologiques. La question de la présentation graphique des résultats n'a pas suscité moins de discussions. Dans ma tête, l'interface avait l'air complètement différente de ce qu'elle est maintenant. Mais il était important de réfléchir à la manière dont il serait plus pratique pour les clients de travailler avec le produit.

Le concepteur a travaillé en mode d'urgence, a examiné des dizaines d'options. Chaque élément a été critiqué: visualisation de l'indice des qualités personnelles, connu dans l'équipe du projet comme une «batterie», pictogrammes pour indiquer les valeurs de base et le niveau d'ambition, un bloc de recommandations.

Interface «CIB Searchinform ProfileCenter», sortie en 2018

«Difficultés de traduction»

Un autre point est la terminologie. Comment choisir de tels noms de qualités personnelles, cotes, qui sont correctes du point de vue de la science, mais informatives pour nos utilisateurs? Par exemple, dans la première version, nous avons introduit le paramètre «jeu». En psychologie, cela signifie implication dans le processus, et pour la plupart des gens, «engagement envers le jeu».

En raison de différences terminologiques, la version alpha a provoqué une évaluation ambiguë, de sorte que les définitions et de brèves explications des termes sont apparues dans la version finale du rapport.

Les discussions se poursuivent maintenant, à chaque fois que nous introduisons une nouvelle note et que vous devez décider d'un nom non psychologique volumineux mais compréhensible. Il convient de noter que nous suivons le même chemin dans le vocabulaire étranger - l'année dernière, la sortie s'est déroulée en anglais.

Sur quoi d'autre travaillez-vous? Pendant que des travaux sont en cours pour améliorer les rapports. Maintenant, le module peut générer environ 78 000 options pour les profils d'employés avancés; il peut déterminer la cote de risque de l'utilisateur. ProfileCenter s'intègre au système DLP SearchInform CIB et doit apprendre à trouver des corrélations avec les incidents et le comportement humain.

Nous travaillons sur l'intégration du module de détection d'écriture manuscrite dans ProfileCenter, en préparant un rapport étendu et des risques supplémentaires dans le domaine de la sécurité du personnel et de l'information - en général, il existe de nombreuses autres options pour augmenter les capacités du logiciel.

D'une manière générale, le marché évolue activement dans cette direction et il existe déjà des followers qui tentent d'évaluer automatiquement les risques des salariés dans le domaine de la sécurité de l'information. Mais je souligne qu'un tel travail peut être prometteur à la jonction de plusieurs «modalités» - quand en même temps l'analyse prend en compte non seulement «technique», mais aussi l'information psycholinguistique: mieux, encore plus.

P.S

Si ma longue histoire sur le profilage ne vous a pas effrayé, mais vous intéresse plutôt dans le sujet, je vous invite dès lundi à suivre un cours sur le «Profilage pour le service IS» - 5 leçons que nous donnerons en personne au Réseau de Recherche et qui seront disponibles en ligne et gratuitement (tout cela parce que quarantaine, quoi d'autre).

La liste des sujets:

20 , 11.00 : . . , .
21 , 11.00 .

« ProfileCenter» .
22 11.00 .

. ? .
23 , 11.00 . . .
24 , 11.00 .

. ? .

Vous pouvez vous inscrire ici .

Cinq étapes pour accepter l'inévitable, ou comment nous avons développé un programme de profilage automatisé