Deepfakes y deep media: un nuevo campo de batalla para la seguridad

Este artículo es parte de un número especial de VB. Lea la serie completa aquí: AI y seguridad .

El número de diphakes (medios que toman una foto, audio o video existente y reemplazan la personalidad de la persona con el uso de IA de otra persona) está creciendo rápidamente. Esto es preocupante, no solo porque tales falsificaciones pueden usarse para influir en las opiniones de las personas durante las elecciones o para enredar a alguien en crímenes, sino también porque ya han sido abusadas para crear pornografía falsa y engañar al director de una compañía energética británica .

Anticipando este tipo de nueva realidad, la unión de instituciones académicas, empresas tecnológicas y organizaciones sin fines de lucro está desarrollando formas de identificar los medios engañosos generados por la IA. Su trabajo muestra que las herramientas de detección son solo una solución viable a corto plazo, mientras que la carrera armamentista diftética apenas comienza.

Texto falso

Anteriormente, la mejor prosa creada por AI se parecía más a los textos del juego Mad Libs que a la novela "Bunches of Wrath", pero los modelos de lenguaje modernos ahora pueden escribir textos con una presentación cercana y persuasiva para aquellos escritos por una persona. Por ejemplo, el modelo GPT-2 , lanzado por la firma de investigación OpenAI de San Francisco, crea fragmentos en el estilo de artículos o guiones al estilo de Nueva York para Brainstorming en cuestión de segundos . Investigadores El Centro de Terrorismo, Extremismo y Antiterrorismo del Instituto Middlebury sugirió que el GPT-2 y otros modelos similares podrían establecerse para defender la superioridad de la raza blanca, el islamismo yihadista y otras ideologías amenazantes, y esto genera aún más preocupaciones.

Arriba: Frontend GPT-2, un modelo de lenguaje entrenado de la firma de investigación OpenAI.
Imagen cortesía de: OpenAI

En busca de un sistema capaz de detectar contenido sintético, los investigadores de la Escuela Paul G. Allen de Ciencias de la Computación e Ingeniería de la Universidad de Washington y el Instituto Allen de Inteligencia Artificial desarrollaron Grover , un algoritmo que afirman que fue capaz de seleccionar el 92% de los difagos en la prueba Un conjunto compuesto por datos abiertos de Common Crawl Corpus. El equipo explica su éxito con un enfoque de redacción de textos publicitarios que, según ellos, ayudó a comprender las características del lenguaje creado por AI.

Un equipo de científicos de Harvard y MIT-IBM Watson AI Lab lanzó por separado The Giant Language Model Test Room, un entorno web que intenta determinar si el texto se escribió utilizando un modelo de IA. Dado el contexto semántico, predice qué palabras tienen más probabilidades de aparecer en una oración, esencialmente escribiendo su propio texto. Si las palabras en la muestra que se analiza corresponden a 10, 100 o 1000 palabras más probables, el indicador se vuelve verde, amarillo o rojo, respectivamente. De hecho, ella usa su propio texto predecible como guía para identificar contenido generado artificialmente.

Dipfake videos

La IA moderna, que genera video, es igual de peligrosa y tiene las mismas, si no excelentes, capacidades que su contraparte natural. Un artículo académico publicado por la startup SenseTime, con sede en Hong Kong, la Universidad Tecnológica de Nanyang y el Instituto de Automatización de la Academia de Ciencias de China detalla el marco que edita imágenes usando audio para sintetizar videos realistas. Y los investigadores de Hyperconnect en Seúl desarrollaron recientemente la herramienta MarioNETte , que puede manipular las características faciales de una figura histórica, político o CEO, sintetizando una cara animada por los movimientos de otra persona.

Sin embargo, incluso los dipfakes más realistas contienen artefactos que los emiten. "Dipfakes creados por sistemas generativos estudian un conjunto de imágenes reales en un video, al que agrega nuevas imágenes, y luego genera un nuevo video con nuevas imágenes", dice Ishay Rosenberg, jefe del grupo de entrenamiento profundo de la compañía de seguridad cibernética Deep Instinct. “El video resultante es ligeramente diferente como resultado de los cambios en la distribución de datos generados artificialmente y en la distribución de datos en el video original. Estos llamados "vislumbres en la matriz" son lo que los detectores diftéicos son capaces de distinguir ".

Arriba: dos videos falsos creados con las técnicas más avanzadas.
Imagen cortesía de: SenseTime

El verano pasado, un equipo de la Universidad de California en Berkeley y la Universidad del Sur de California preparó un modelo para buscar "unidades de acción facial" exactas: datos sobre movimientos faciales, garrapatas y expresiones, incluso al levantar el labio superior y girar la cabeza cuando las personas fruncir el ceño: para identificar videos falsos con una precisión de más del 90%. Del mismo modo, en agosto de 2018, los participantes en el Programa Forense de Medios de la Agencia de Proyectos de Investigación Avanzada de Defensa de los Estados Unidos (DARPA) probaron los sistemascapaz de detectar video generado por IA basado en signos tales como parpadeo antinatural, movimientos extraños de la cabeza, color de ojos inusual y mucho más.

Actualmente, varias startups están en el proceso de comercializar herramientas similares para detectar imágenes de video falsas. El laboratorio de Amsterdam Deeptrace Labs ofrece un conjunto de herramientas de monitoreo destinadas a clasificar las falsificaciones que se cargan en las redes sociales, plataformas de alojamiento de videos y redes de desinformación. Dessa ha propuesto métodos para mejorar detectores falsos entrenados en juegos de video falsos. Y en julio de 2018, Truepic recaudó $ 8 millones.para financiar su servicio para la detección profunda de falsificaciones en video y fotos. En diciembre de 2018, la compañía adquirió la startup Fourandsix, cuyo detector de imágenes falsificadas recibió una licencia DARPA.

Arriba: imágenes Dipfake editadas por AI.

Además de desarrollar sistemas totalmente capacitados, varias compañías han publicado cuerpos de texto con la esperanza de que la comunidad de investigación desarrolle nuevos métodos para detectar falsificaciones. Para acelerar este proceso, Facebook, junto con Amazon Web Services (AWS), Partnership on AI y académicos de varias universidades, lideraron el Deepfake Detection Challenge. El programa tiene un conjunto de muestras de video con etiquetas que indican que algunos de ellos fueron afectados por la inteligencia artificial. En septiembre de 2019, Google lanzó una colección de falsificaciones visualescomo parte de la prueba FaceForensics, que fue creada por la Universidad Técnica de Munich y la Universidad de Nápoles Federico II. Más recientemente, investigadores de SenseTime, junto con la Universidad Tecnológica de Nanyang en Singapur, han desarrollado DeeperForensics-1.0 , un conjunto de datos para detectar falsificaciones que, según afirman, es el más grande de su tipo.

Dipfake Audio

La inteligencia artificial y el aprendizaje automático no solo son adecuados para sintetizar video y texto, sino que también pueden copiar voces. Innumerables estudios han demostrado que un pequeño conjunto de datos es todo lo que se requiere para recrear el discurso de una persona. Los sistemas comerciales como Resemble y Lyrebird requieren unos minutos de grabaciones de audio, mientras que los modelos sofisticados, como la última implementación de Baidu Deep Voice, solo pueden copiar la voz de una muestra de 3.7 segundos.

No hay tantas herramientas para detectar diphakes de audio, pero las soluciones comienzan a aparecer.



Hace unos meses, el equipo de Resemble lanzó una herramienta de código abierto llamada Resemblyzer, que usa inteligencia artificial y aprendizaje automático para detectar falsificaciones al adquirir muestras de voz de alto nivel y predecir si son reales o simuladas. Después de recibir un archivo de audio con voz, crea una representación matemática que resume las características de la voz grabada. Esto permite a los desarrolladores comparar la similitud de los dos votos o averiguar quién está hablando en este momento.

En enero de 2019, como parte de la Iniciativa Google News, Google lanzó un corpus de discurso que contiene miles de frases pronunciadas utilizando modelos de texto a voz. Se tomaron muestras de artículos en inglés leídos por 68 voces sintéticas diferentes en diferentes dialectos. El caso está disponible para todos los participantes de ASVspoof 2019 , un concurso cuyo objetivo es promover contramedidas contra el discurso falso.

Mucho que perder

Ninguno de los detectores ha logrado una precisión perfecta, y los investigadores aún no han descubierto cómo identificar una autoría falsa. Deep Instinct Rosenberg espera que esto inspire a los malos actores a difundir falsificaciones. "Incluso si se detecta un dipfake creado por un atacante, solo el dipfake corre el riesgo de ser revelado", dijo. "Para un actor, el riesgo de ser atrapado es mínimo, por lo que hay pocas restricciones para crear falsificaciones".

La teoría de Rosenberg está respaldada por un informe de Deeptrace , que encontró 14,698 videos falsos en línea durante su recuento más reciente en junio y julio de 2019. Durante un período de siete meses, su número aumentó en un 84%. La gran mayoría de ellos (96%) son videos pornográficos con mujeres.

Ante estas cifras, Rosenberg argumenta que las empresas que "pierden mucho" debido a los diphakes deberían desarrollar e implementar tecnología de detección profunda en sus productos, que, en su opinión, es similar a los programas antivirus. Y en esta área han aparecido cambios; Facebook anunció a principios de enero que usaría una combinación de sistemas automáticos y manuales para detectar contenido falso, y Twitter recientemente sugirió marcar diphakes y eliminar aquellos que podrían ser dañinos.

Por supuesto, las tecnologías subyacentes a la generación de dipfakes son solo herramientas, y tienen un gran potencial para buenas acciones. Michael Klozer, jefe de Data & Trust en Access Partnership, una empresa consultora, dijo que la tecnología ya se está utilizando para mejorar el diagnóstico médico y la detección del cáncer, llenar vacíos en el mapeo del universo y mejorar la capacitación de vehículos no tripulados. Por lo tanto, advierte contra el uso de campañas generales para bloquear la IA generativa.

"Desde que los líderes comenzaron a aplicar las normas legales existentes en casos de asuntos diplomáticos, ahora es muy importante no deshacerse de las tecnologías valiosasdeshacerse de las falsificaciones ", dijo Klozer. "En última instancia, la jurisprudencia y las normas sociales sobre el uso de esta nueva tecnología no están lo suficientemente maduras como para crear líneas rojas brillantes que delineen el uso justo y el abuso".