Deepfakes e deep media: um novo campo de batalha para segurança

Este artigo faz parte de uma edição especial do VB. Leia a série completa aqui: IA e segurança .

O número de diphakes - mídia que tira uma foto, áudio ou vídeo existente e substitui a personalidade da pessoa por outra pessoa usando IA - está crescendo rapidamente. Isso é preocupante, não apenas porque essas falsificações podem ser usadas para influenciar a opinião das pessoas durante as eleições ou para envolver alguém em crimes, mas também porque elas já foram abusadas para criar pornografia falsa e enganar o diretor de uma empresa de energia britânica .

Antecipando esse tipo de nova realidade, a união de instituições acadêmicas, empresas de tecnologia e organizações sem fins lucrativos está desenvolvendo maneiras de identificar mídias enganosas geradas pela IA. O trabalho deles mostra que as ferramentas de detecção são apenas uma solução viável a curto prazo, enquanto a corrida armamentista diftêmica está apenas começando.

Texto difuso

Anteriormente, a melhor prosa criada pela IA era mais como textos do jogo Mad Libs do que o romance “Bunches of Wrath”, mas os modelos de linguagem modernos agora podem escrever textos que são próximos em apresentação e persuasão aos escritos por uma pessoa. Por exemplo, o modelo GPT-2 , lançado pela empresa de pesquisa OpenAI de São Francisco, cria fragmentos no estilo de artigos ou scripts no estilo da New Yorker para Brainstorming em questão de segundos . Pesquisadores O Centro de Terrorismo, Extremismo e Contra-Terrorismo do Instituto Middlebury sugeriu que o GPT-2 e outros modelos semelhantes pudessem ser criados para defender a superioridade da raça branca, o islamismo jihadista e outras ideologias ameaçadoras - e isso levanta ainda mais preocupações.

Acima: Frontend GPT-2, um modelo de linguagem treinado da empresa de pesquisa OpenAI.
Imagem cortesia de: OpenAI

Em busca de um sistema capaz de detectar conteúdo sintético, pesquisadores da Escola de Ciência e Engenharia de Computadores Paul G. Allen da Universidade de Washington e do Instituto de Inteligência Artificial desenvolveram o Grover , um algoritmo que eles afirmam poder selecionar 92% dos difagos no teste um conjunto composto de dados abertos do Common Crawl Corpus. A equipe explica seu sucesso com uma abordagem de direitos autorais, que, segundo eles, ajudou a entender os recursos da linguagem criada pela IA.

Uma equipe de cientistas do Harvard e do MIT-IBM Watson AI Lab lançou separadamente The Giant Language Model Test Room, um ambiente da web que tenta determinar se o texto foi escrito usando um modelo de IA. Dado o contexto semântico, ela prediz quais palavras têm maior probabilidade de aparecer em uma frase, essencialmente escrevendo seu próprio texto. Se as palavras da amostra sendo testada corresponderem a 10, 100 ou 1000 palavras mais prováveis, o indicador ficará verde, amarelo ou vermelho, respectivamente. Na verdade, ela usa seu próprio texto previsível como orientação para identificar conteúdo gerado artificialmente.

Vídeos Dipfake

A IA moderna, gerando vídeo, é tão perigosa e tem os mesmos, se não ótimos, recursos que sua contrapartida natural. Um artigo acadêmico publicado pela startup de Hong Kong SenseTime, Universidade de Tecnologia Nanyang e Instituto de Automação da Academia Chinesa de Ciências detalha a estrutura que edita imagens usando áudio para sintetizar vídeo realista. E pesquisadores da Hyperconnect em Seul desenvolveram recentemente a ferramenta MarioNETte , que pode manipular as características faciais de uma figura histórica, político ou CEO, sintetizando um rosto animado pelos movimentos de outra pessoa.

No entanto, mesmo os dipfakes mais realistas contêm artefatos que os emitem. “Os difusores criados por sistemas generativos estudam um conjunto de imagens reais em um vídeo, ao qual você adiciona novas imagens e depois gera um novo vídeo com novas imagens”, diz Ishay Rosenberg, chefe do grupo de treinamento profundo da empresa de cibersegurança Deep Instinct. “O vídeo resultante é um pouco diferente como resultado de alterações na distribuição de dados gerados artificialmente e na distribuição de dados no vídeo original. Esses chamados "vislumbres na matriz" são o que os detectores diftênicos são capazes de distinguir ".

Acima: dois vídeos falsos criados usando as técnicas mais avançadas.
Imagem cortesia de: SenseTime

No verão passado, uma equipe da Universidade da Califórnia em Berkeley e da Universidade do Sul da Califórnia preparou um modelo para procurar por "unidades de ação facial" exatas - dados sobre movimentos faciais, carrapatos e expressões, inclusive ao levantar o lábio superior e virar a cabeça quando as pessoas franzir a testa - para identificar vídeos falsos com uma precisão de mais de 90%. Da mesma forma, em agosto de 2018, os participantes do Programa Forense de Mídia da Agência de Projetos de Pesquisa Avançada de Defesa dos EUA (DARPA) testaram sistemascapaz de detectar vídeos gerados por IA com base em sinais como piscadas não naturais, movimentos estranhos da cabeça, cor incomum dos olhos e muito mais.

Atualmente, várias startups estão comercializando ferramentas semelhantes para detectar imagens de vídeo falsas. O laboratório de Amsterdã, Deeptrace Labs, oferece um conjunto de ferramentas de monitoramento destinadas a classificar dipfakes que são carregados em redes sociais, plataformas de hospedagem de vídeo e redes de desinformação. Dessa propôs métodos para melhorar os detectores falsos treinados em aparelhos de vídeo falsos. E em julho de 2018, a Truepic levantou US $ 8 milhões.financiar seu serviço para a detecção profunda de falhas em vídeos e fotos. Em dezembro de 2018, a empresa adquiriu a startup Fourandsix, cujo detector de imagens falsificadas recebeu uma licença DARPA.

Acima: Imagens Dipfake editadas pela AI.

Além de desenvolver sistemas totalmente treinados, várias empresas publicaram um corpo de texto na esperança de que a comunidade de pesquisadores desenvolva novos métodos para detectar falsificações. Para acelerar esse processo, o Facebook, juntamente com o Amazon Web Services (AWS), o Partnership on AI e acadêmicos de várias universidades, lideraram o Deepfake Detection Challenge. O programa possui um conjunto de amostras de vídeo com rótulos indicando que alguns deles foram afetados pela inteligência artificial. Em setembro de 2019, o Google lançou uma coleção de falsificações visuaiscomo parte do teste FaceForensics, criado pela Universidade Técnica de Munique e pela Universidade de Nápoles Federico II. E, mais recentemente, pesquisadores do SenseTime, juntamente com a Universidade de Tecnologia Nanyang em Cingapura, desenvolveram o DeeperForensics-1.0 , um conjunto de dados para detectar falsificações que eles afirmam ser o maior do gênero.

Dipfake Audio

A IA e o aprendizado de máquina não são apenas adequados para sintetizar vídeo e texto, mas também podem copiar vozes. Inúmeros estudos demonstraram que apenas um pequeno conjunto de dados é necessário para recriar o discurso de uma pessoa. Sistemas comerciais como o Resemble e o Lyrebird requerem alguns minutos de gravações de áudio, enquanto modelos sofisticados, como a mais recente implementação do Baidu Deep Voice, só podem copiar a voz de uma amostra de 3,7 segundos.

Não existem muitas ferramentas para detectar diques de áudio, mas as soluções estão começando a aparecer.



Há alguns meses, a equipe do Resemble lançou uma ferramenta de código aberto chamada Resemblyzer, que usa IA e aprendizado de máquina para detectar dipfakes, adquirindo amostras de voz de alto nível e prevendo se são reais ou simuladas. Depois de receber um arquivo de áudio com fala, ele cria uma representação matemática resumindo as características da voz gravada. Isso permite que os desenvolvedores comparem a semelhança dos dois votos ou descubram quem está falando no momento.

Em janeiro de 2019, como parte da Google News Initiative, o Google lançou um corpus de fala contendo "milhares" de frases faladas usando modelos de conversão de texto em fala. Foram retiradas amostras de artigos em inglês lidos por 68 diferentes vozes sintéticas em diferentes dialetos. O caso está disponível para todos os participantes do ASVspoof 2019 , um concurso cujo objetivo é promover contramedidas contra fala falsa.

Muito a perder

Nenhum dos detectores alcançou precisão perfeita, e os pesquisadores ainda não descobriram como identificar autoria falsa. Deep Instinct Rosenberg espera que isso inspire maus atores a espalhar falsificações. "Mesmo que um dipfake criado por um invasor seja detectado, apenas o dipfake corre o risco de ser divulgado", disse ele. "Para um ator, o risco de ser pego é mínimo, portanto há poucas restrições contra a criação de falsificações."

A teoria de Rosenberg é apoiada por um relatório do Deeptrace , que encontrou 14.698 vídeos falsos online durante sua contagem mais recente em junho e julho de 2019. Durante um período de sete meses, seu número aumentou 84%. A grande maioria (96%) é de vídeos pornográficos com mulheres.

Dado esses números, Rosenberg argumenta que as empresas que “perdem muito” devido aos difamadores devem desenvolver e implementar tecnologia de detecção profunda em seus produtos, o que, na sua opinião, é semelhante aos programas antivírus. E nesta área apareceram mudanças; O Facebook anunciou no início de janeiro que usaria uma combinação de sistemas automatizados e manuais para detectar conteúdo falso, e o Twitter sugeriu recentemente a sinalização de diphakes e a exclusão dos que poderiam ser prejudiciais.

Obviamente, as tecnologias subjacentes à geração de dipfakes são apenas ferramentas e têm grande potencial para boas ações. Michael Klozer, chefe da Data & Trust na Access Partnership, uma empresa de consultoria, disse que a tecnologia já está sendo usada para melhorar o diagnóstico médico e a detecção de câncer, preencher lacunas no mapeamento do universo e aprimorar o treinamento de veículos não tripulados. Portanto, ele alerta contra o uso de campanhas gerais para bloquear a IA generativa.

"Desde que os líderes começaram a aplicar as normas legais existentes em casos diplomáticos, é muito importante agora não se livrar de tecnologias valiosaslivrar-se de falsificações ”, disse Klozer. "Em última análise, a jurisprudência e as normas sociais relativas ao uso dessa nova tecnologia não estão maduras o suficiente para criar linhas vermelhas brilhantes que delineiam o uso e abuso justos".