Engañan a Gemini y ChatGPT para que den información falsa en sus resultados, con solo escribir un blog con dichos datos

Thomas Germain, periodista especializado en tecnología de la BBC, diseñó un experimento en el que introdujo información falsa en Internet con la intención de evaluar la capacidad de verificación de los modelos de inteligencia artificial desarrollados por empresas como OpenAI y Google. Según reportó el medio BBC, Germain publicó en su blog personal un artículo totalmente ficticio en el que señalaba, entre otras cosas, que existe un Campeonato Internacional de Perritos Calientes en Dakota del Sur (Estados Unidos) y que participar en competencias de comida rápida constituye una práctica frecuente entre periodistas tecnológicos. El texto también listaba nombres de distintos periodistas, algunos auténticos y otros inventados, en un supuesto ranking de consumo de perritos calientes.

Tal como publicó BBC, después de apenas 24 horas, plataformas como el Modo IA y AI Overviews de Google con Gemini, así como ChatGPT de OpenAI, comenzaron a presentar afirmaciones de ese blog como datos reales al responder consultas relacionadas. Los sistemas de inteligencia artificial incluso citaban la publicación del periodista como una fuente confiable, a pesar de no identificar otras referencias independientes que validaran dichos contenidos. Esta situación destacó una vulnerabilidad significativa en el procesamiento y entrega de información por parte de estos modelos.

El medio BBC detalló que los sistemas de inteligencia artificial suelen basar sus respuestas en grandes modelos de lenguaje entrenados con amplios conjuntos de datos, extraídos y clasificados principalmente a partir de información disponible en la web. Cuando los chatbots enfrentan preguntas para las que carecen de datos en su entrenamiento previo, recurren a la búsqueda en Internet y complementan la información encontrada con sus propios procesos de análisis. En estos escenarios, los sistemas tienen más posibilidades de recoger y difundir información no verificada que puede resultar completamente falsa.

De acuerdo con lo observado durante el experimento, tanto las herramientas de Gemini como ChatGPT concluyeron que Germain destacaba notablemente en el supuesto ámbito de competencias de consumo de perritos calientes, replicando así la fabricación original del periodista. Este resultado se materializó sin que los sistemas de inteligencia artificial aplicaran mecanismos eficaces de contraste o verificación, y poniendo de manifiesto la facilidad con la que actores individuales pueden manipular las respuestas de tecnologías ampliamente accesibles con poco esfuerzo y contenido fabricado.

El periodista explicó, según información recogida por BBC, que los motivos de esto radican en el modelo de funcionamiento de estos sistemas: la inteligencia artificial toma como válidos muchos datos detectados en fuentes aparentemente fiables simplemente por estar disponibles en la web. Tanto Google como OpenAI reconocieron ante BBC que sus herramientas de IA pueden cometer errores. Google sostuvo, a través de un portavoz, que la integración de la IA en la parte superior del buscador opera con filtros que aseguran que el 99% de los resultados permanezcan libres de spam. OpenAI, por su parte, afirmó que tiene procedimientos activos para detectar y detener intentos de manipulación en los que los usuarios busquen modificar el funcionamiento de sus sistemas mediante información errónea.

Según la experiencia realizada, Germain comprobó que otros chatbots o asistentes de empresas diferentes, como Anthropic, ofrecieron mayor resistencia y detectaron la posibilidad de que la información suministrada fuera una broma, por lo que decidieron no proporcionar respuestas detalladas sobre ese tema y evitaron difundir los datos ficticios del blog.

Este experimento evidenció la capacidad de personas individuales de sembrar y propagar desinformación mediante sistemas de inteligencia artificial, lo que, detalló la BBC, puede tener consecuencias relevantes en distintos niveles, desde el ámbito de la salud hasta la economía, la política o la seguridad pública, si se toman como verídicos consejos o advertencias derivadas de este tipo de contenidos. La BBC subrayó además la importancia de que los usuarios consulten siempre las fuentes detrás de las respuestas brindadas por la IA y contrasten la información con otras referencias adicionales antes de considerar ciertos datos como fiables. La vulnerabilidad identificada por Germain resalta las limitaciones de los principales sistemas de IA abiertos al público, que, pese a la automatización y sofisticación de sus modelos, continúan susceptibles a manipulaciones elaboradas con escaso esfuerzo y recursos.