⚙️ 🚏 🧗🏾 Cinco estágios de aceitação do inevitável, ou Como desenvolvemos um programa para criação de perfil automatizado 🎢 🍋 👩🏽‍🤝‍👩🏻

Olá, estou em contato com Alexey Filatov (aka afilatov123) Em 2017, fui convidado para a equipe SearchInform para lançar uma nova solução de software. Mais precisamente, para aumentar os recursos do principal produto - o sistema DLP . O mercado não apenas sabe como software (evitar vazamento de informações e fraudes corporativas). Os clientes querem que o programa seja capaz de prever o comportamento do usuário: "este funcionário está se preparando para ser demitido, o que significa que ele pode ..." ou "uma pessoa está estressada e provavelmente cometerá um erro". E essas previsões devem ser feitas com alta precisão e em um formato automatizado.

Para resolver esse problema, os fornecedores geralmente seguem o caminho da UEBA (ou UBA). Mas seguimos nosso próprio caminho e começamos a criar perfis automatizados.

imagem

Sob o corte - a história de que caminho seguimos para fazer o produto acontecer.

Esclarecemos imediatamente que a criação de perfil automatizado com grandes reservas também pode ser chamada de análise do comportamento do usuário. Mas a diferença de métodos é significativa, gostaríamos de resolver a confusão em termos em um dos próximos posts (ou mesmo uma longa história se transformará em uma crônica sem fim).

Portanto, a criação de perfil é uma técnica de longa data, mas apenas em um formato offline. Neste mundo off-line, existem perfis especializados que, com base na análise da fala, entonações, expressões faciais, tiram conclusões sobre o estado emocional, as qualidades pessoais de uma pessoa, suas inclinações criminais, etc. Manter um perfilador (e de preferência uma dúzia) na equipe de uma empresa rica é uma utopia. Daí a idéia de um programa que substitua cabeças brilhantes.

Começamos a trabalhar no ProfileCentercom a escolha do que se tornará a "matéria-prima" para análise. Não há muitas opções:

linguagem falada - para avaliar características linguísticas e de voz;
caligrafia no teclado;
Tráfego da Internet e outros padrões de interação do usuário com um computador;
expressões faciais;
textos de usuário.

Spoiler - levamos os textos para o desenvolvimento, mas primeiro explicarei brevemente por que as outras opções foram eliminadas.

Falar é uma fonte acessível de informação, porque os fornecedores desejam trabalhar com ela. Sim, e há bons desenvolvimentos científicos na avaliação do discurso. Em particular, os mais notáveis são os trabalhos de Tim Polzehl, por exemplo, Personalidade na Fala . E também Swati Johar, Koteswara Rao Anne, K. Srinivasa Rao, Ute Jekosch. Embora a técnica seja considerada grosseira: os analisadores de voz são capazes de identificar bem o nível de estresse, mas sua capacidade de determinar com segurança características pessoais foi posta em causa por muitos especialistas.

Outra opção para trabalhar com a fala oral é traduzi-la em texto escrito, a fim de analisá-la ainda mais como texto. E, claro, também testamos as ferramentas para traduzir o discurso em letras. Até agora, porém, a maioria das ferramentas offline para a qualidade do reconhecimento não nos convém.

Padrões de comportamento- indicadores estatísticos de uso do computador. Por exemplo, o tempo que uma pessoa gasta em um determinado aplicativo, programa, quantas cartas ela envia e assim por diante. Os conhecidos projetos UEBA (UBA) trabalham principalmente com essas informações, revelando que, por exemplo, uma pessoa de repente começou a enviar não 10, mas 100 cartas por dia (o que significa que você precisa olhar para ele). Mas essa tecnologia ainda não produziu bons resultados objetivamente em termos de previsão do comportamento do usuário e - novamente - avaliação de suas características pessoais.

Um parâmetro relativamente interessante aqui é a análise de consultas de tráfego e pesquisa, mas fala dos interesses reais do usuário, e não de seu caráter e personalidade.

Análise facial- Este é um dos métodos mais bem desenvolvidos. Mas na comunidade científica, mais e mais pessoas começaram a duvidar da correção dessa abordagem, porque Muitas informações apareceram que as expressões faciais nem sempre refletem o estado emocional de uma pessoa e são muito "barulhentas".

imagem

Com isso, eu, como pessoa diretamente familiarizada com o FACS (Sistema de Codificação de Ação Facial), também concordo. Uma avaliação das emoções pode ser principalmente útil, dado o contexto e a relação exata de estímulo e reação. Infelizmente, em nossas condições, é impossível rastrear. Além disso, se você desenvolver a idéia ainda mais, terá de enfrentar uma análise fisionômica, e isso já está repleto de pesquisas no campo do conhecimento não científico.

Caligrafia do tecladoaté encontrar grande ceticismo na comunidade científica, existem dezenas de trabalhos que estudaram a questão de determinar os traços de personalidade de como uma pessoa "bate nas teclas", mas esses trabalhos ainda não foram implementados em modelos práticos.

Agora, essa tecnologia é estritamente especializada na análise de como uma pessoa digita um nome de usuário e senha e pode ser usada para identificar uma pessoa. A análise de textos arbitrários não é desenvolvida. Mas, mesmo levando em conta essas limitações, a letra do teclado de todas as fontes de informação acima é a mais interessante para nós, chamada “crescer”.

E, finalmente, análise de texto. O mais estudado e comprovado, uma vez que a linguagem escrita é um produto direto do pensamento. Reflete os padrões de pensamento, a estrutura interna da personalidade, preferências, valores e outras características. A conexão entre pensamento e fala é estudada por duas ciências: psicolinguística em maior grau, psicosemantica em menor grau. Não fomos apenas nós que levamos a linguagem escrita para o desenvolvimento, a ABBYY e o Google a usamos como fonte de informação para seus produtos - e muitas outras.

Há mais uma vantagem puramente técnica de escolher a linguagem escrita como base para a análise - existem muitas, ela é montada com sucesso pelo sistema DLP com o qual o ProfileCenter se integra. Portanto, a escolha foi predeterminada.

O que é ruído e como limpar texto

Então, registramos que o discurso escrito se tornou para nós a principal fonte de informação para o programa. A próxima etapa do trabalho é a criação de um algoritmo para limpar a fala do "ruído", normalizando o texto. Limpar do “ruído” significa remover elementos do texto que não carregam uma carga semântica e não têm valor para análise. Era fácil começar: números abstratos, palavras em latim, erros de digitação, algumas figuras - todas atribuídas ao ruído.

imagem

Com pontuação, tudo se tornou mais complicado. Nem todo mundo coloca um ponto no final de uma frase na correspondência doméstica e foi necessário começar a aprender como determinar onde ela deve estar. A presença e o número de vírgulas também é um parâmetro importante. Ao mesmo tempo, nas correspondências do Skype ou nas redes sociais, os sinais de pontuação são praticamente ignorados.

Outra dificuldade foi isolar a comunicação informal da correspondência e analisar textos nos quais o funcionário ultrapassa o escopo de deveres profissionais e oficiais. A primeira fonte que conectamos ao módulo é o correio. As frases padrão introdutórias foram excluídas deste texto (olá, com respeito, assinatura, etc.) e apenas a parte substantiva da correspondência foi levada para a análise. No entanto, as pessoas escrevem principalmente cartas comerciais secas para enviar por e-mail e, se você conectar outras fontes de informação (mensageiros corporativos, redes sociais etc.), obteremos um resultado mais preciso.

O próximo passo da análise também incluiu a correspondência de mensageiros corporativos, Skype, Viber, WhatsApp, Lync, Telegram e redes sociais.

Trabalhar com texto limpo

Recebi um texto limpo. A próxima etapa, também é a mais difícil, é a construção de psicótipos de usuários com base neste texto. Em nosso aparato conceitual, "psicótipo" é um sistema de estereótipos comportamentais, atitudes individuais e de valor, traços de personalidade motivacionais, emocionais e comunicativas necessárias para descrever a diferença entre as pessoas.

Existem muitas psicotipologias nos trabalhos dos cientistas, mas em geral elas se duplicam. Contamos mais com os trabalhos de Lichko, Leongard, Sobchik, Glukhov, Kosinski, Saligman, Belyanin e o modelo de perfil estruturalmente dinâmico da Psychea .

Como resultado da síntese dessas tipologias, agora contamos com oito psicótipos com nomes convencionais: histeróide, epileptoide, paranóico, emotivo, ansioso, hipertímico, esquizóide e crítico.

Mas como analisar o texto em um formato automatizado para atribuir seu autor a um dos oito tipos?

A primeira hipótese foi a seguinte: para cada psicótipo, você precisa criar um dicionário lexical, encontrar correspondências no vocabulário da pessoa e atribuí-lo a um dos oito tipos. Por exemplo, sabe-se que pessoas do tipo esquizóide usam palavras de baixa frequência com mais frequência (“focinho” em vez de “fio” ou “octotorp” em vez de #) e longas, e o tipo epileptoide adora verbos mais do que outros.

Mas essas são conclusões no nível das observações empíricas. Se você tentar traduzi-los em algoritmos, a ideia se tornará irrealizável: os dicionários são muito grandes, cada palavra precisa receber um peso (seu significado na fórmula geral do tipo). Quem pode atribuir esse peso? Perfil de especialista. Suponha que exista até mesmo um "Alexey Filatov" tão abstrato que se dará ao trabalho de cavar todas as palavras da língua russa para ver como cada uma delas corresponde ao léxico de um esquizóide ou epileptoide. Mas mesmo em uma versão tão utópica, essa será uma avaliação subjetiva de um especialista em particular.

Mas os dicionários da frequência de quais palavras uma pessoa usa, dependendo da gravidade das qualidades individuais da personalidade, são uma questão completamente diferente. Pesquisadores psicolinguísticos os têm. Mas mesmo assim, por seu significado para análise, essa variável na fórmula não está em primeiro lugar. Porque muito mais importante não é o que a pessoa diz, mas como: que partes do discurso ele usa, como ele compõe frases, qual deles usa morfologia etc. Muitos desses parâmetros são descritos no corpus da língua russa, e esse já é o ponto de partida para a preparação de fórmulas.

Outro ponto importante. Para dizer sobre a gravidade de certas qualidades pessoais de uma pessoa, você precisa de um ponto de partida. Uma pessoa não pode ser simplesmente motivada por dinheiro ou simplesmente por conflito, ela é motivada ou conflituosa apenas em comparação com outra pessoa. Portanto, a "norma" condicional para o programa é o valor mediano das qualidades pessoais na equipe. Seu número mínimo para o cálculo correto do valor mediano deve ser 20 pessoas.

Como resultado, o algoritmo de cálculo - desde o momento em que o texto do usuário foi coletado até a classificação final de um ou outro psicótipo - foi escolhido da seguinte forma:

extrair texto do usuário não estruturado de mensagens;
definimos palavras em um texto não estruturado que coincide com dicionários de qualidades pessoais;
determine o valor do peso da palavra com base na frequência das palavras em um texto não estruturado;
determinar as características das qualidades pessoais;
determinamos os indicadores de expressão quantitativa das qualidades pessoais do usuário, comparando suas características com indicadores medianos para todos os usuários da equipe;
determine o psicótipo do usuário.

Foi decidido que, na interface do programa, o usuário na pessoa de um especialista em segurança ou RH vê não o resultado dos cálculos na forma de um psicótipo, mas um estágio intermediário dos cálculos. Ou seja, o layout das qualidades pessoais. Isso é mais informativo. E exibimos o próprio psicótipo no chamado relatório estendido.

Teste de hipóteses e refinamento de fórmulas

Decidimos sobre o algoritmo de cálculo. Como verificar a fórmula e como ajustar quem verificar? Para esses fins, os próprios funcionários do SearchInform se tornaram os participantes do teste - eles selecionaram 102 pessoas. Eu, com a ajuda de colegas criadores de perfil, os perfilei manualmente. Os sujeitos foram submetidos a três questionários padronizados: o questionário 5PFQ (os chamados “Big Five”), o questionário Schwartz, o LN Sobchik SMIL e o questionário ITO. Em seguida, comparamos os resultados com os dados que o programa produziu.

Nas escalas, os resultados foram diferentes - de 57% a 94%. As escalas de extroversão / introversão, ansiedade, conflito, atividade etc. foram perfeitamente determinadas e os resultados foram piores, por exemplo, em termos de “ambiciosidade”.

De acordo com as estatísticas obtidas, a fórmula foi ajustada e, como resultado, “costuramos” nela mais de 70 variáveis (por exemplo, o índice de voz passiva, o índice de comprimento de palavras, sentenças, nomes próprios etc.) e o peso de cada uma.

Demorou muito tempo para trabalhar na determinação da quantidade mínima suficiente de material escrito para análise. Agora, resolvemos 20 mil lemas (um lema é uma forma invariável de uma palavra). Mas eles começaram a análise com 50 mil, reduzindo esse volume em incrementos de 5 mil.

Uma das perguntas mais comuns é por que ainda não percebemos a possibilidade de avaliar textos de usuários de terceiros retirados de fontes abertas? Por exemplo, por que esperar o acúmulo de 20 mil lemas, se você pode pegar o texto de um usuário específico na rede e analisá-lo de acordo com o mesmo critério? Tecnicamente, isso é possível, mas as informações precisam ser carregadas no programa, não por uma pessoa, mas pelo coletivo de funcionários ou pessoas de profissões similares (descrito acima por que).

Verificação e Limite de Combate

Quando o modelo de trabalho estava pronto - há cerca de dois anos - eles começaram a testar (MVP) o programa não apenas em seus próprios funcionários, mas também em funcionários de várias dezenas de clientes que concordaram em participar do experimento. Entre outubro e novembro de 2018, eles receberam um produto que funcionava bem. Estávamos certos de que ele fornece dados qualitativos sobre os chamados qualidades pessoais primárias (que podemos verificar com o questionário).

A precisão dos resultados do módulo final foi avaliada por especialistas e clientes em 75 a 80%. Para uma tarefa cuja solução ninguém propôs anteriormente, esses são bons indicadores. O principal é que isso é suficiente para resolver problemas de negócios.

imagem

Existem linhas que ainda não podemos ir além. Para criar um retrato psicológico da mais alta qualidade possível, você precisa de duas ou quatro modalidades: texto, entonação, tráfego etc. Quando adicionamos ao módulo a análise de voz, redes sociais, caligrafia do teclado, a qualidade da implementação será ainda melhor. Mas essas tarefas são resolvidas bastante difíceis (descritas acima). Cada porcentagem subsequente de precisão no cálculo do nosso módulo é fornecida com dificuldade crescente.
Enfrentamos as mesmas limitações ao tentar criar perfis para aquelas pessoas que escrevem um pouco e cujo vocabulário, francamente, é ruim. Estamos falando daqueles usuários cuja comunicação é reduzida para "olá", "ok" e "vamos lá". É difícil construir um perfil correto apenas com base no discurso escrito sobre eles.

E o que aconteceu? Perfil curto - o que há nele

O produto de toda a pesquisa descrita acima é um breve perfil de personalidade. Como eu disse, trata-se de informações primárias, “matérias-primas”, para tirar conclusões mais detalhadas sobre uma pessoa e a equipe.

No breve perfil, precisávamos criar um retrato do usuário que refletisse características fundamentalmente importantes do ponto de vista de um especialista em segurança e um serviço de segurança da informação: pontos fortes / fracos, diferenças fundamentais entre um funcionário e outros usuários, tipo geral, tendências criminais, valores e recomendações.

Como resultado, no perfil curto, destacamos os três traços de personalidade mais fortes e os mais fracos.
Parece, por exemplo, o seguinte:

imagem

(A propósito, é uma captura de tela do perfil de um líder forte).

Em seguida, compomos um índice de qualidades pessoais. Por que precisamos dele? Nem todos os traços de personalidade são os mesmos ... estáveis. A manifestação de alguns depende fortemente do contexto e, sem algum ponto de partida, é impossível concluir que a qualidade é expressa.

Por exemplo, quando alguém pode dizer sobre uma pessoa que ela está em conflito? Quando ele começa a xingar? Vencer outros? Tiro? Porém, se concluirmos que existe um conflito em comparação com a qualidade oposta (em uma dicotomia), podemos entender como ambas são pronunciadas. Ou seja, uma pessoa é mais receptiva, educada do que conflito.

imagem

Também identificamos tendências criminais em um perfil curto (não esqueça que nosso ProfileCenter é um produto principalmente para serviços de segurança).

Para identificar riscospara cada perfil, voltaram-se novamente para a psicologia, destacada na linguagem dos riscos econômicos e de segurança da informação inerentes às qualidades pessoais. Por exemplo, conflito, conversação, uma tríade sombria de personalidade (manipulação), qualidades de liderança, emocionalidade. Existem estudos que permitiram que esses dados comparassem e derivassem recomendações. Aqui, focamos em um grande número de trabalhos, não apenas no campo da criminologia, psicologia criminal e criação de perfis criminais, mas também na segurança e gerenciamento de riscos de pessoal.
Para calcular a ambição, compilamos nossas próprias fórmulas linguísticas. Para a seleção de fórmulas variáveis para o cálculo de valores básicos, foram levados em consideração os desenvolvimentos científicos de Belyanin e Schwartz.

É assim que tudo parece completamente. Relatório de Perfil Curto:

imagem

Classificações, relatórios avançados e dinâmica de perfil

Qual é o próximo? Tendo informações sobre qualidades pessoais, decidimos criar classificações, pois essa é uma função útil para nosso público-alvo - especialistas em serviços de segurança e especialistas em segurança da informação em particular. Eles nos disseram: temos 5.000 usuários, você não pode seguir todos. Se você pudesse restringir nosso foco de atenção (identificar grupos de risco), saberíamos a quem observar mais de perto.

A complexidade nesse estágio não era tecnológica, mas metodológica. Como não basta apenas classificar e classificar todos os usuários para cada qualidade. Para os serviços de segurança, os traços de personalidade "sintéticos" são informativos, isto é, não conflitantes, mas escandalosos, não um desejo de interação, mas liderança. Escandalismo e liderança incluem vários indicadores de um breve perfil. Para compilar uma fórmula para cada classificação, para determinar o peso de cada qualidade nela, voltamos novamente à psicosemantica e à psicolinguística. Processamos pelo menos 35 trabalhos em russo e inglês. Como resultado, agora o programa fornece 12 classificações , com base nas quais você pode criar suas próprias.

imagem

As classificações podem determinar os grupos de risco dos funcionários que estão se preparando para demissão, desmotivados, agressivos, escandalosos etc. E vice-versa, usando as classificações, você pode criar grupos de reserva de pessoal. A propósito, somos muito bons em prever a demissão de um funcionário, seu esgotamento e alto potencial de liderança.

Em princípio, as mesmas tarefas técnicas e metodológicas da psicolinguística também estavam presentes ao criar um perfil estendido e dinâmica de perfil - escolhendo variáveis para fórmulas e determinando o peso de cada valor.

No perfil estendidofez relatórios adicionais que expandem muito o escopo do programa, porque Em essência, eles fornecem informações sobre as principais competências do usuário. Eles geralmente são avaliados por gerentes de pessoal e gerentes de competência de SHL (a necessidade de poder e controle, de consentimento, extroversão, inteligência geral, abertura para o novo, comprometimento, estabilidade emocional, motivação para conquistas).

Dinâmica das mudanças de perfil - de acordo com o relatório, você pode receber avisos se algo acontecer com uma pessoa, se ela se posicionar nos líderes de classificações significativas para especialistas em segurança da informação.

imagem

Atribuo grande importância ao fato de termos sido capazes de criar um relatório sobre a dinâmica. Por que isso era importante? Se após 2 a 4 meses o perfil e as classificações do usuário após vários recálculos forem mantidos geralmente estáveis, esse é um indicador de que o chamado comportamento típico do usuário foi encontrado.

Isso significa que a principal tarefa da análise comportamental em segurança da informação foi resolvida.

Interface

Mas, estranhamente, era necessário mexer não apenas com problemas técnicos e metodológicos. A questão da apresentação gráfica dos resultados não causou menos discussão. Na minha cabeça, a interface parecia completamente diferente do que é agora. Mas era importante pensar em como seria mais conveniente para os clientes trabalharem com o produto.

imagem

O designer trabalhou no modo de emergência, revisou dezenas de opções. Cada elemento foi criticado: visualização do índice de qualidades pessoais, conhecido na equipe do projeto como “bateria”, pictogramas para indicar valores básicos e nível de ambição, um bloco com recomendações.

imagem

Interface “CIB Searchinform ProfileCenter”, lançada em 2018

“Dificuldades de tradução”

Outro ponto é a terminologia. Como escolher nomes de qualidades pessoais, classificações corretas do ponto de vista da ciência, mas informativas para nossos usuários? Por exemplo, na primeira versão, introduzimos o parâmetro "jogos de azar". Na psicologia, isso significa envolvimento no processo e, para a maioria das pessoas, "compromisso com o jogo".

Devido a diferenças na terminologia, a versão alfa causou uma avaliação ambígua; portanto, as definições e breves explicações dos termos apareceram na versão final do relatório.

As discussões continuam agora, toda vez que introduzirmos uma nova classificação e você precisar escolher um nome não psicólogo amplo, mas compreensível. Note-se que seguimos o mesmo caminho no vocabulário estrangeiro - no ano passado, o lançamento ocorreu em inglês.

No que mais você está trabalhando? Enquanto o trabalho está em andamento para melhorar os relatórios. Agora, o módulo pode gerar cerca de 78.000 opções para perfis avançados de funcionários, além de determinar a classificação de risco do usuário. O ProfileCenter se integra ao sistema SearchInform CIB DLP e precisa aprender a encontrar correlações com incidentes e comportamento humano.

Estamos trabalhando para integrar o módulo de detecção de manuscrito do teclado no ProfileCenter, preparando um relatório extenso e riscos adicionais no campo da segurança de pessoal e informações - em geral, existem muitas mais opções de como aumentar os recursos do software.

Em geral, o mercado está se desenvolvendo ativamente nessa direção e já existem seguidores que estão tentando avaliar automaticamente os riscos dos funcionários no campo da segurança da informação. Mas enfatizo que esse trabalho pode ser promissor na junção de várias “modalidades” - quando, ao mesmo tempo, a análise leva em consideração pelo menos não apenas informações “técnicas”, mas também psicolinguísticas: melhor, ainda mais.

P.S

Se minha longa história sobre criação de perfis não o assustou, mas mais interessada no tópico, convido você a partir de segunda-feira a fazer um curso sobre "Criação de perfil para o serviço de SI" - cinco aulas que realizaremos pessoalmente no Center Search e estarão disponíveis on-line e de graça (tudo porque quarentena, o que mais).

A lista de tópicos:

20 , 11.00 : . . , .
21 , 11.00 .

« ProfileCenter» .
22 11.00 .

. ? .
23 , 11.00 . . .
24 , 11.00 .

. ? .

Você pode se registrar aqui .

Cinco estágios de aceitação do inevitável, ou Como desenvolvemos um programa para criação de perfil automatizado