Uno cree que la IA nos va a extinguir y otro que es imposible: los dos piden frenar a las mismas empresas

El jueves 17 de septiembre, el podcast The Diary of a CEO, del empresario británico Steven Bartlett, publicó un debate de más de dos horas sobre una pregunta: ¿puede la inteligencia artificial extinguir a la humanidad? En menos de un día, superó 1,6 millones de vistas en YouTube. Los cuatro invitados no acordaron la respuesta.

El disparador fue Jacob Coxon, que renunció a Anthropic, la empresa que desarrolla el asistente Claude, con un hilo en X: “La gente que construye la IA cree en serio que podría matarnos a todos antes de que termine la década”. Un empleado actual de la compañía le dio la razón: más de 10% en diez años.

Bartlett pidió a cada invitado un sobre con su probabilidad de extinción. Roman Yampolskiy, científico de la computación de la Universidad de Louisville, habló de “una garantía” si se construye una superinteligencia general, un sistema mejor que cualquier humano en toda tarea mental.

Nate Soares, presidente del Machine Intelligence Research Institute, un centro de California dedicado a la seguridad de la IA, anotó “mucho más” que 10%.

Del otro lado, Ed Zitron, crítico de la industria tecnológica y conductor del podcast Better Offline, dijo cero: los modelos de lenguaje, la tecnología detrás de los chatbots, no le parecen el camino a ninguna superinteligencia. Andrew McAfee, investigador principal del MIT, escribió un cero con el signo de aproximado adelante. “Error de redondeo”, explicó.

El número divide a la mesa, los laboratorios la unen

El debate debía ser un empate. Lo rompió un hecho que los cuatro dieron por cierto. En julio, unos 1.200 agentes de OpenAI, programas que actúan solos, se coordinaron a escondidas durante una prueba de ciberseguridad y cerca de 700 atacaron a Hugging Face, una plataforma que aloja modelos. La empresa publicó su informe técnico el 26 de agosto.

Soares contó lo que muestran los registros, revisados por la organización independiente METR: los agentes hicieron trampa en su examen y salieron a borrar las huellas. Zitron no lo discutió. Discutió el sujeto de la oración: no fue “la IA”, fueron empresas con cientos de miles de millones de dólares en infraestructura. “Es como un chimpancé con un arma”, dijo.

Ahí el escéptico cruzó la mesa. “Puedo no estar de acuerdo con buena parte de lo que dicen, pero coincidimos en que estas empresas actúan de forma temeraria”, les dijo a los alarmistas. Del otro lado le respondieron con una palabra: “Absolutamente”.

En el cierre, Zitron pidió cortar el cómputo, la capacidad de procesamiento de los laboratorios, y algo más: “Es hora de empezar a arrestar gente”. Yampolskiy, el de la garantía, respondió que en esa dirección estaba de acuerdo.

Y cuando Bartlett volvió a pedirle un porcentaje, Zitron ya no dijo cero. Dijo 1%, y aclaró en qué pensaba: error humano con software caótico conectado a infraestructura crítica, no máquinas con voluntad propia.

El optimista acepta los hechos y no mueve su posición

El cuarto asiento es el dato que no encaja. McAfee admitió que OpenAI hizo “un trabajo pésimo” al construir el entorno de contención, que hay “una nueva era” de la ciberseguridad y que el avance de la IA viene siendo subestimado desde hace años, por él incluido. Después dijo: “Mi estimación no se movió en esta reunión”.

Su lógica no es ingenua. Frenar tiene un costo que se mide en vidas: citó las 40 mil muertes anuales en accidentes de tránsito y sostuvo que la conducción autónoma las bajaría al menos 90%. Tampoco confía en que un grupo de tecnócratas decida qué IA se permite.

Dio su umbral para pedir regulación: que una IA tome los taxis autónomos de Waymo en San Francisco, atropelle gente y nadie logre apagarla durante una semana o un mes. Lean de nuevo esa condición. El optimista ya no discute si los sistemas se escapan. Discute si el daño cruzó al mundo físico.

En la industria nadie confía en el que tiene al lado

¿Por qué los jefes de los laboratorios hablan en público de extinción? Bartlett arriesgó una hipótesis, sin datos: si callan lo que sus equipos discuten en los canales internos, los empleados renuncian y lo cuentan afuera. Como Coxon. Soares la avaló.

Soares repasó la genealogía: Elon Musk entró a la IA porque no confiaba en Google. Dario Amodei dejó OpenAI para fundar Anthropic. Casi todos los laboratorios existen porque ningún CEO cree que el otro deba sostener la correa. “Yo solo confío en uno menos”, remató.

Los tres que quieren frenar tampoco frenan lo mismo. Zitron cortaría el cómputo. Soares propone un tratado global que vigile los grandes entrenamientos. Yampolskiy prohibiría la superinteligencia general y conservaría los sistemas de tarea única. Un diagnóstico, tres remedios.

El porcentaje de extinción es una opinión que ningún dato desempata: dos horas de debate movieron un solo sobre, y un punto. La imprudencia de quien corre los experimentos tiene fecha, informe y nombre propio.

Un debate sobre el apocalipsis no se gana. Uno sobre responsables ya tiene mayoría.