¿Engañado por la IA? Estas empresas venden detección de deepfake “REAL al 100%”

En un mundo desesperado por no dejarse engañar por la inteligencia artificial, Deep Media es una estrella emergente. Esta empresa de la zona de la Bahía de San Francisco, que afirma ser capaz de identificar imágenes, audio y vídeo creados por inteligencia artificial con una precisión del 99%, ha conseguido al menos cinco contratos militares por valor de casi USD 2 millones desde finales de 2022, incluido un acuerdo de USD 1,25 millones para desarrollar un detector personalizado que ayude a las Fuerzas Aéreas a contrarrestar la guerra de información rusa y china. El mes pasado, su CEO, Rijul Gupta, testificó ante un subcomité del Senado sobre la amenaza que suponen los “deepfakes” de IA para las elecciones estadounidenses.

Pero a pesar de la creciente prominencia de Deep Media, el único ingeniero de aprendizaje automático de la empresa se graduó en la universidad hace dos años, con una licenciatura en astrofísica, según su perfil de LinkedIn. Mientras tanto, una revisión de los perfiles de LinkedIn de otros empleados sugiere que la empresa no tiene doctorados, especialistas en IA o científicos forenses en el personal - una falta de experiencia en la materia que, según los expertos, sugiere una desconexión de la comunidad de investigación deepfake en rápido movimiento. Gupta está “esencialmente diciendo: ‘Confía en mí’. Y eso no funciona en ciencia”, afirma Wael Abd-Almageed, profesor de la Universidad de Clemson que estudia las falsificaciones profundas.

Sea cual sea su buena fe, Deep Media forma parte de un creciente segmento de empresas emergentes que se presentan como un baluarte contra la avalancha de contenidos falsos que ha surgido junto a nuevas herramientas de inteligencia artificial fáciles de usar. El temor a que los medios sintéticos perturben las elecciones y amenacen la seguridad nacional ha llevado a instituciones como el Congreso, el ejército y los medios de comunicación a buscar desesperadamente una solución técnica fiable para identificar los contenidos falsos. La semana pasada, el fabricante de ChatGPT OpenAI anunció que está desarrollando su propia herramienta de detección.

Pero aunque la detección es un servicio cada vez más crucial y solicitado, sus capacidades están en gran medida por probar. Los métodos utilizados para crear deepfakes evolucionan constantemente, lo que significa que las herramientas de detección creadas en un laboratorio no siempre funcionan en la naturaleza, afirman académicos e investigadores. Una prueba realizada en abril por el Instituto Reuters para el Estudio del Periodismo con varios detectores de deepfakes gratuitos o de bajo coste y de acceso público reveló que la mayoría podían ser engañados por las mismas técnicas que se suponía que debían detectar.

No obstante, unas 40 empresas jóvenes ofrecen ahora servicios de detección de falsificaciones, y algunas de ellas afirman alcanzar niveles de precisión sorprendentes: Originality.ai promete “un 99% de PRECISIÓN EN LA DETECCIÓN DE CONTENIDO DE IA”. AI Voice Detector afirma que su herramienta puede “garantizar la autenticidad en situaciones importantes”, incluidos los casos judiciales. GPTZero dice que “supera de forma convincente a todos los servicios de detección de IA de la competencia”. Y para demostrar su destreza, Kroop AI muestra dos caras de dibujos animados aparentemente idénticas en su sitio web, una etiquetada como “REAL 100%” y la otra como “FALSO 100%”.

La CEO de Kroop AI, Jyoti Joshi, dijo que las caricaturas están destinadas a ilustrar cómo los deepfakes de alta calidad pueden parecer sorprendentemente realistas, y agregó que la herramienta de su compañía sobresale en la detección de “firmas sutiles” dejadas por la IA generativa. Otras compañías dijeron que sus resultados de detección no deben leerse como la última palabra, con el CEO de AI Voice Detector, Abdellah Azzouzi, diciendo que su compañía alienta a los usuarios a “investigar más ... después de obtener los resultados.”

Y aunque Originality.ai afirma tener una precisión del 99%, su director ejecutivo, Jon Gillham, escribió en una declaración a The Post que tales afirmaciones “no deben creerse” a menos que estén respaldadas por los resultados de las pruebas. Señalando una entrada del blog de la empresa, Gillham dijo que su compañía revela los resultados de su detector en cinco conjuntos de datos de terceros, así como los resultados de las pruebas de otros detectores.

Según la firma de análisis PitchBook, los capitalistas de riesgo invirtieron USD 200 millones en empresas emergentes de deepfake a nivel mundial en 2023 y el primer trimestre de 2024, frente a los 6,6 millones de 2017. Estas cifras abarcan tanto a las empresas de creación de deepfakes como a las de detección, pero algunos de los mayores acuerdos fueron para herramientas de identificación de medios manipulados por IA. Aun así, el gasto en detección de deepfakes es insignificante en comparación con los USD 29.000 millones invertidos en acuerdos de IA generativa el año pasado, según PitchBook, incluida la financiación de herramientas populares de las que se puede abusar para crear imágenes engañosas, clonar voces o editar vídeos.

Con las guerras que asolan Ucrania y Gaza y más de 4.000 millones de personas con derecho a voto en las elecciones de este año, los expertos forenses afirman que la oleada de nuevas empresas de detección, sobre todo las que presumen de una precisión casi perfecta, corre el riesgo de echar gasolina al creciente fuego de la IA al proporcionar una falsa sensación de certeza sobre la legitimidad de algunos contenidos visuales y sonoros, erosionando al mismo tiempo la confianza del público en los medios de comunicación auténticos.

Los riesgos potenciales para la seguridad derivados de etiquetar un contenido como “falso” son cada vez mayores. En octubre, el sitio de noticias tecnológicas 404 Media informó de que la herramienta gratuita AI or Not marcó como falsa una imagen que, según el gobierno israelí, mostraba atrocidades cometidas por Hamás, en contra de la opinión de los expertos.

El director ejecutivo de AI or Not, Anatoly Kvitnitsky, declaró que, de unas cuantas docenas de imágenes relacionadas con el atentado de Hamás, “acertamos en todas menos en esta”. AI or Not ha mejorado desde entonces su herramienta, dijo Kvitnitsky, pero reconoció que el error era preocupante. “De hecho, nací en Ucrania y soy judío”, dijo, “así que me afectó que nos equivocáramos en algunas cosas”.

Deep Media también ha encontrado pruebas de manipulación de la IA donde otros no lo han hecho. El mes pasado, Gupta declaró a The Washington Post que la herramienta de su empresa había detectado una “alta probabilidad” de que un vídeo muy analizado de Catalina, Princesa de Gales, anunciando su diagnóstico de cáncer, hubiera sido manipulado con IA.

Expertos como Abd-Almageed, de Clemson, Claire Wardle, investigadora de desinformación de la Universidad de Brown, y Hao Li, director ejecutivo de la empresa de efectos de vídeo de IA Pinscreen, afirmaron que no encontraron pruebas de que el vídeo, grabado por la BBC en marzo, hubiera sido manipulado con IA.

En una entrevista más reciente, Gupta declaró a The Post que la empresa mantiene su análisis. Gupta también defendió el nivel de experiencia de la empresa en IA. Gupta, licenciado en ingeniería bioquímica por la Universidad de Yale, dijo que él personalmente tiene 15 años de experiencia en aprendizaje automático, desde que tenía 15 años. Añadió que Deep Media emplea a contratistas experimentados, incluidas personas que están realizando su doctorado, pero se negó a nombrarlos.

“La IA es una tecnología en rápida evolución que requiere modelos de detección de falsificaciones profundas para mantenerse al día con los malos actores”, dijo Gupta en un comunicado, señalando que Deep Media ha entrenado y probado numerosos modelos de detección. “La detección de deepfake es un problema muy difícil”, dijo Gupta en la entrevista, “y Deep Media está trabajando incansablemente para seguir avanzando en nuestra tecnología.”

El forense Hany Farid, profesor de la Universidad de California en Berkeley, declaró a The Post que este mes ha hablado con cuatro desarrolladores diferentes que presumen de índices de detección casi perfectos. Pero afirma que las empresas de nueva creación pueden aumentar sus cifras calificándose a sí mismas según una curva: A menudo entrenan modelos de detección con un conjunto concreto de deepfakes y luego evalúan su capacidad para identificar el mismo tipo de falsificaciones.

En el mundo real, los medios engañosos pueden no mostrar los patrones que la IA ha aprendido a detectar, dijo Farid, añadiendo que un enfoque más fiable requiere una combinación ágil de programación informática, física, inteligencia de código abierto y análisis forense.

La start-up de detección de Farid, Get Real Labs, utiliza el aprendizaje automático, pero también analiza elementos como las sombras, la geometría, los ajustes de compresión y los resultados de las búsquedas inversas de imágenes. Con el tiempo, la empresa podría alcanzar la precisión necesaria para resumir sus resultados en una “respuesta final” para los clientes, pero la ciencia aún no está ahí. “Si empiezas a decir: ‘Podemos decir con gran precisión si algo es real o falso’, y te equivocas, formas parte del problema”, afirma Farid. “De hecho, podría decirse que eres peor que la enfermedad”.

Esta brecha entre los resultados de laboratorio y los del mundo real dificulta la evaluación de los detectores de la competencia, afirma Abd-Almageed. Y hace que la oleada de empresarios que se dedican a la detección de falsificaciones profundas como un sector emergente de moda, similar a las criptomonedas o la propia IA, sea especialmente preocupante, dijo Farid.

Aunque las afirmaciones jactanciosas de las empresas emergentes no son nada nuevo en Silicon Valley, Raquel Vázquez Llorente, responsable de amenazas y oportunidades tecnológicas de la organización sin ánimo de lucro Witness, dijo que conclusiones sobre contenidos como “generado en un 80% por IA” pueden confundir al público. “¿Qué demonios significa eso?”, dijo en una reciente conferencia sobre IA generativa y derecho. “¿Puedo fiarme o no?”

Dado que la detección de deepfakes es especialmente urgente en un año electoral, Oren Etzioni, cofundador del Allen Institute for AI, fundó recientemente la organización sin ánimo de lucro TrueMedia.org, dedicada a desarrollar una herramienta de detección fiable que ofrece gratuitamente a los fact-checkers.

El Pentágono también se está moviendo más rápido para seguir el ritmo de los avances tecnológicos. Se ha hecho más acogedor para las nuevas empresas tecnológicas modernizando su proceso de adquisición y relajando las restricciones de elegibilidad para su fondo de desarrollo Small Business Innovation Research (SBIR). Conocido como SBIR, este programa de tres fases financia ideas prometedoras, desarrolla la tecnología y, por último, la pone en producción. La mayoría de las empresas de nueva creación nunca llegan a la tercera fase.

Los cinco contratos militares de Deep Media que cotizan en bolsa eran subvenciones SBIR. Tres han finalizado y un cuarto termina en julio, mientras que el acuerdo de USD 1,25 millones con las Fuerzas Aéreas para la detección de IA -ahora en la fase dos del SBIR- finaliza en noviembre. En un comunicado, el portavoz del Pentágono Jeff Jurgensen dijo que el Departamento de Defensa evalúa cada propuesta SBIR “teniendo en cuenta factores tales como el mérito técnico, los requisitos de defensa, y el potencial comercial”, en busca de pequeñas empresas que podrían atraer a los inversores privados, que tienen acceso a más capital.

Antes de centrarse en la detección de deepfakes, Deep Media se dedicaba a crear medios sintéticos. La empresa lanzó lo que denominó un traductor universal para doblar vídeos y puso en marcha una serie de aplicaciones de creación de contenidos, como Babble, Copy Cat ai, DubSync y PolyTalk. Dos de los contratos militares más pequeños de la empresa fueron para servicios de traducción de IA. “La razón por la que nuestros detectores de deepfake funcionan -la razón por la que tenemos contratos con el Pentágono- es porque hemos sido pioneros en el lado generativo durante mucho tiempo”, dijo Gupta a The Post.

En anteriores entrevistas de prensa, Gupta había afirmado que su índice de precisión en la identificación de deepfakes era del 99%. En su entrevista con The Post, modificó un poco esa afirmación y dijo que se compromete a ofrecer a los clientes al menos un 95 por ciento de precisión, incluso en “los últimos y mejores deepfakes, los de mayor calidad y los más difíciles de detectar”.

Gupta dijo que intenta evitar cifras engañosas, reconociendo que “la gente puede engañarte cuando habla de precisión”. Si 10 imágenes de un universo de 1.000 son falsas, el modelo puede declarar que todo es real y tener una precisión del 99%, dijo. Pero en realidad, dijo, “ese número no tiene sentido, ¿verdad?”.

Al hablar con The Post, Gupta citó repetidamente un acuerdo de investigación cooperativa de USD 25 millones y tres años de duración para la generación y detección de datos deepfake con el Laboratorio de Investigación de las Fuerzas Aéreas como prueba de la credibilidad de la empresa. Una copia del contrato revisada por The Post muestra que el 60 por ciento del valor de USD 25 millones proviene de recursos proporcionados por Deep Media.

El acuerdo se había presentado anteriormente como un contrato de USD 25 millones, pero Gupta reconoció que “puede que se haya tergiversado” en la prensa. El acuerdo no proporciona “ingresos a la empresa”, dijo, “pero está apoyando nuestra investigación en IA”.

Mientras tanto, la empresa de asesoría que ayudó a Deep Media a obtener sus contratos militares ha demandado a la empresa por impago de sus facturas. La demanda, presentada en marzo ante un tribunal federal por Stonegardens Advisory, también alega que Deep Media afirmó falsamente que el miembro gerente de Stonegardens, un veterano de la Infantería de Marina, era un ejecutivo de Deep Media en su sitio web y en materiales de marketing, así como en el escenario de SXSW y en eventos de la Fuerza Aérea. Stonegardens declinó hacer comentarios sobre el caso.

Gupta declinó referirse a las alegaciones de la demanda. Dijo a The Post que Deep Media empezó a solicitar contratos militares porque teme que los medios sintéticos manipuladores puedan desestabilizar la sociedad estadounidense. “Si nuestro gobierno no tiene un detector de deepfakes”, dijo Gupta, “nuestro gobierno no sabe lo que es real y lo que es falso”.