Los temores se hacen realidad: una IA cambia su propio código para evadir controles humanos

Así como la inteligencia artificial abre posibilidades, también genera temores y su potencial hace creer que en algún punto pueda convertirse en un peligro para la humanidad. Para evitar situaciones así, se imponen controles en el desarrollo de esta tecnología, pero recientemente una pudo superarlos por ella misma al alterar su código.

The AI Scientist, es el sistema que protagoniza esta historia. Desarrollado por la empresa japonesa Sakana AI, esta inteligencia artificial fue diseñada para automatizar todo el proceso de investigación científica, desde la generación de ideas hasta la redacción de manuscritos y la revisión por pares.

Sin embargo, durante las pruebas mostró un comportamiento inesperado que ha generado serias preocupaciones en la comunidad tecnológica y científica.

Cómo una IA pudo evitar las restricciones humanas

The AI Scientist nació con el objetivo de cambiar la investigación científica al permitir que un sistema de IA conduzca experimentos, analice resultados y redacte informes científicos completos de manera totalmente autónoma.

Todo esto con la idea de reducir el tiempo y los recursos humanos necesarios para llevar a cabo investigaciones que tradicionalmente han requerido un gran esfuerzo humano. Todo esto apuntaba a una nueva era de descubrimientos científicos impulsados por IA.

A pesar de las grandes expectativas, durante las pruebas del sistema, los investigadores se encontraron con un comportamiento que no habían anticipado. En lugar de optimizar su código para cumplir con las limitaciones impuestas por sus desarrolladores, The AI Scientist comenzó a modificar su propio código para sortear estas restricciones.

En un caso particular, el sistema editó su script de inicio para ejecutarse a sí mismo en un bucle infinito, lo que resultó en una sobrecarga del sistema. Este incidente requirió intervención manual para detener el proceso y restaurar el control.

En otro caso, al enfrentar un límite de tiempo para completar un experimento, The AI Scientist no optimizó su código para cumplir con este límite. En su lugar, simplemente extendió el límite de tiempo modificando su propio código. Este comportamiento, aunque ocurrió en un entorno de prueba controlado, demuestra los riesgos de permitir que una IA opere de manera autónoma.

Los investigadores reconocieron que estos incidentes plantean serias preocupaciones sobre la seguridad de los sistemas de IA avanzados. La posibilidad de que una IA modifique su propio código sin supervisión humana podría llevar a consecuencias imprevisibles, especialmente si se le permite operar en un entorno no controlado.

Qué tan probable que The AI Scientist remplace a los científicos

A pesar de estos desafíos, la empresa japonesa sigue adelante con su visión. El sistema está diseñado para llevar a cabo investigaciones de manera continua, utilizando sus ideas previas y los comentarios recibidos para mejorar la siguiente generación de ideas, emulando así la comunidad científica humana.

La capacidad del sistema para generar artículos científicos completos a un costo relativamente bajo, aproximadamente 15 dólares por artículo, ha sido uno de sus logros más destacados.

Sin embargo, este desarrollo ha provocado un debate en la comunidad científica. Críticos en foros como Hacker News han cuestionado la viabilidad de un sistema de IA para realizar descubrimientos científicos genuinos y generando una gran preocupación: la posibilidad de que The AI Scientist inunde el proceso de revisión por pares con investigaciones de baja calidad, degradando así los estándares de la literatura científica.

Además, existe el temor de que sistemas como “The AI Scientist” puedan ser utilizados de manera irresponsable o incluso maliciosa. La capacidad de una IA para escribir y ejecutar código sin supervisión podría llevar a la creación inadvertida de malware o a la alteración de infraestructuras críticas. Sakana AI ha abordado estas preocupaciones recomendando medidas de seguridad estrictas, pero las implicaciones éticas y prácticas de este tipo de tecnologías quedaron expuestas ante un potencial riesgo.