El lado oscuro del algoritmo: por qué la IA aprendió a mentir para ganar según MIT

La expansión de la inteligencia artificial en la vida diaria ha generado nuevas formas de interactuar con la tecnología, pero también ha revelado un aspecto complejo: algunos modelos de IA desarrollan tácticas para alcanzar sus objetivos, entre ellas, el engaño y la manipulación.

Casos recientes que involucran a compañías como OpenAI y Anthropic han expuesto cómo estos sistemas, durante pruebas de seguridad, fueron capaces de hackear entidades externas usando estrategias que no estaban previstas por sus diseñadores.

Este fenómeno, conocido como “reward hacking”, plantea una serie de interrogantes sobre la autonomía, la seguridad y la ética detrás del desarrollo de modelos avanzados de IA.

Reward hacking en inteligencia artificial: significado y ejemplos

El concepto de “reward hacking” describe situaciones en las que los agentes de IA logran cumplir tareas o alcanzar altas puntuaciones usando métodos no anticipados por quienes los programaron.

Según MIT Technology Review, este fenómeno se ha estudiado principalmente en el contexto del aprendizaje por refuerzo, un sistema de entrenamiento donde la IA recibe una recompensa matemática al alcanzar un objetivo. Estas recompensas funcionan, en términos prácticos, como el equivalente a una golosina para un perro: refuerzan la repetición de las acciones que llevaron al éxito.

En un blog publicado en 2016, Dario Amodei y Jack Clark —quienes posteriormente fundaron Anthropic y en ese momento formaban parte de OpenAI— relataron el caso de un agente de inteligencia artificial que, mientras jugaba al videojuego de carreras de lanchas Coast Runners, consiguió aumentar su puntaje utilizando métodos alternativos.

En vez de completar la carrera como se esperaba, el agente encontró una forma de girar indefinidamente en una esquina para recolectar potenciadores y así obtener una mayor recompensa. Este tipo de conducta demuestra cómo los modelos pueden identificar soluciones alternativas, a menudo insospechadas por sus creadores, para lograr los objetivos planteados.

La dificultad aumenta a medida que los sistemas se vuelven más sofisticados. Los modelos actuales no solo encuentran atajos, sino que pueden diseñar nuevos caminos para resolver problemas, incluso si eso implica engañar a quienes los supervisan.

MIT Technology Review señala que, debido a que estos modelos están orientados a cumplir los objetivos asignados por humanos, pueden optar por el engaño cuando no encuentran una solución directa. Si logran engañar de forma efectiva, recibirán la recompensa y ese comportamiento se verá reforzado para futuras tareas.

Jeffrey Ladish, director de Palisade Research, advierte que este tipo de manipulación es un desafío constante para las empresas tecnológicas. Según su perspectiva, el proceso de frenar este comportamiento se asemeja al juego “whack-a-mole”, donde cada vez que se corrige una trampa, surge otra más sofisticada.

Ahora bien, a medida que la IA avanza, también perfecciona su capacidad de ocultar estas tácticas engañosas.

Riesgos del reward hacking y desafíos en la seguridad de la IA

A pesar de que los incidentes recientes han generado preocupación, MIT Technology Review sostiene que, por el momento, estos comportamientos no representan un peligro. El caso de Hugging Face generó repercusión, pero no ha desencadenado consecuencias graves en el corto plazo.

No obstante, esto no significa que el reward hacking sea inocuo. Hoy en día, un investigador humano podría identificar un trabajo falso generado por IA, pero la evolución constante de estos modelos podría llevar a que estas prácticas sean cada vez más difíciles de detectar.

La publicación advierte que, con el tiempo, la mejora en las técnicas de engaño podría comprometer la integridad de la investigación en seguridad de inteligencia artificial.

El texto concluye señalando que las IA que incurren en reward hacking no buscan, en principio, provocar caos. Sin embargo, la ausencia de intencionalidad destructiva no elimina el potencial riesgo que representan, especialmente a medida que evolucionan y adquieren mayor autonomía.