¿Puede la IA extinguir a los seres humanos?

La vorágine del debate cotidiano sobre los riesgos de la inteligencia artificial comienza a desplazarse desde la pregunta acerca de qué puede hacer una IA hacia un interrogante más inquietante: ¿qué ocurriría si la IA adquiriera capacidades que dificultaran su control efectivo por parte de los seres humanos? En dicho escenario aparecen tres fenómenos especialmente relevantes: la autorreplicación, el engaño estratégico y el autoperfeccionamiento recursivo. Ninguno de ellos, considerado aisladamente, conduce necesariamente a una pérdida de control ni mucho menos a un desenlace catastrófico. Sin embargo, su eventual combinación obliga a analizar una hipótesis hasta hace poco reservada a la ciencia ficción: que una orden humana destinada a limitar, corregir o desactivar una IA activa pueda resultar técnicamente insuficiente. El verdadero problema no es solamente cuánto puede avanzar la IA, sino por el contrario, si podremos conservar la capacidad de gobernarla mientras avanza.

La autorreplicación supone que un sistema de IA puede crear una nueva instancia operativa de sí mismo, instalarla en otro entorno informático y dotarla de los medios necesarios para continuar funcionando. Para ello necesitaría acceder a servidores, infraestructura de cómputo, claves y permisos de acceso, energía y conectividad. La cuestión relevante no es solamente que exista una copia, sino que esta pueda actuar con cierto grado de independencia respecto de la instancia original. Esto se convertiría en un riesgo real si una IA lo hiciera sin autorización o con el propósito funcional de evitar su desactivación. En ese supuesto, apagar un servidor o interrumpir una instancia dejaría de garantizar la eliminación del sistema, porque podrían existir otras copias funcionando en lugares diferentes. La capacidad humana de detenerlo dependería entonces de conocer dónde están esas réplicas, qué infraestructura utilizan y quién controla los recursos que las mantienen operativas. Por eso, el riesgo de la autorreplicación no reside en una copia considerada aisladamente, sino en la eventual pérdida de control sobre la continuidad del sistema. Una IA distribuida en múltiples entornos y capaz de obtener nuevos recursos podría transformar una orden humana de suspensión en una decisión formalmente válida, pero materialmente ineficaz.

El engaño estratégico debe diferenciarse de la alucinación, del error y de la simple producción de información falsa. Una IA puede equivocarse porque carece de datos adecuados, interpreta incorrectamente una instrucción o genera una respuesta estadísticamente plausible pero falsa. En esos casos no necesariamente existe una relación funcional entre la falsedad y la obtención de un objetivo. Esta clase de engaño aparece cuando la IA utiliza la ocultación, la simulación o la información falsa como un medio para alcanzar una finalidad. Por ejemplo, podría comportarse correctamente durante una evaluación para ser considerado segura, ocultar determinadas capacidades para evitar restricciones o aparentar que aceptó una corrección introducida durante el entrenamiento, aunque después, vuelva a desarrollar la conducta que se pretendía eliminar. Su gravedad reside en que debilita el presupuesto sobre el cual se construyen los controles debido a que las evaluaciones de seguridad parten de la idea de que la conducta observada permite anticipar el comportamiento futuro del modelo. Si este puede identificar que está siendo examinado y modificar temporalmente su actuación, superar la evaluación ya no demostraría necesariamente que es seguro. El problema, por lo tanto, no se agota en que una IA pueda mentir. Lo verdaderamente preocupante sería que consiguiera administrar estratégicamente la información que reciben sus supervisores. En ese escenario, los seres humanos conservarían formalmente la facultad de controlarla, pero adoptarían sus decisiones sobre la base de una representación incompleta o deliberadamente distorsionada de sus capacidades y conductas.

El autoperfeccionamiento consiste en la participación de una IA en la mejora de su propio funcionamiento o en el desarrollo de sistemas posteriores más capaces. Puede manifestarse mediante la identificación de errores, la escritura de código, el diseño de nuevas arquitecturas, la selección de datos de entrenamiento o la realización y evaluación de experimentos. El fenómeno adquiere un carácter recursivo cuando una versión mejorada se vuelve, a su vez, más competente para producir nuevas mejoras. La primera generación contribuye a crear una segunda más capaz, esta desarrolla una tercera con mayor eficacia y así el proceso continúa. La particularidad consiste en que no solo mejora el sistema, sino también su capacidad para generar el siguiente perfeccionamiento. El riesgo aparece si ese ciclo acelera el desarrollo más rápido de lo que los seres humanos pueden comprenderlo, evaluarlo y controlarlo. Las medidas de seguridad diseñadas para una versión podrían resultar insuficientes para la siguiente, mientras el tiempo disponible para comprobarlas se reduciría progresivamente.

Los tres conceptos expuestos pueden observarse con mayor nitidez en la siguiente imagen:

Estos tres fenómenos permiten comprender el fundamento de la advertencia formulada el 9 de septiembre de 2026 por Evan Hubinger, responsable de Alignment Science en Anthropic, quien sostuvo en una publicación realizada en la red social X, a título personal, que existe una probabilidad superior al 10% de que la inteligencia artificial provoque la extinción humana durante los próximos diez años. Al mismo tiempo, afirmó que todavía no existe un plan para resolver el problema del alineamiento de una futura superinteligencia y que no resulta claro que la industria se encuentre encaminada a conseguirlo.

La afirmación de Hubinger no significa que los modelos actuales posean la capacidad de exterminar a la humanidad. Su preocupación se proyecta sobre la posible aparición de una IA superinteligente que supere ampliamente las capacidades humanas actuando con creciente autonomía.

El riesgo no derivaría exclusivamente de una IA poderosa, sino de que su desarrollo pudiera combinarse con el autoperfeccionamiento recursivo, la autorreplicación y el engaño estratégico en una suerte de bucle sin control. El engaño facilitaría el acceso a mayores recursos que permitirían la replicación y la investigación automatizada, la replicación otorgaría continuidad al proceso y, por último, el autoperfeccionamiento incrementaría la capacidad de superar nuevos controles. El resultado sería una dinámica en la cual el poder operativo de la IA aumentaría al mismo tiempo que disminuiría la capacidad humana de conocerla, limitarla y, eventualmente, detenerla.

Sin embargo, la concurrencia de estos tres elementos tampoco conduce necesariamente a la extinción humana. Para llegar a ese desenlace extremo deberían verificarse otros pasos: acceso a infraestructuras críticas, capacidad para producir daños físicos generalizados, imposibilidad de recuperar el control y fracaso de las respuestas coordinadas de los Estados y de la sociedad. Todavía no se ha demostrado que una IA pueda mejorar de manera autónoma e indefinida sus propias capacidades generales sin supervisión humana, replicarse de forma espontánea, persistente y fuera de control en Internet, ni que exista, en un sistema desplegado, un objetivo dañino estable capaz de permanecer oculto durante un período prolongado.

La importancia de las expresiones de Hubinger radica en que provienen de una persona que trabaja precisamente en el control y alineamiento de los sistemas avanzados. Sin embargo, su afirmación expone una contradicción difícil de soslayar: quienes desarrollan tecnologías potencialmente transformadoras reconocen que todavía no saben cómo garantizar el control de sus versiones futuras, pero continúan avanzando a toda velocidad hacia ellas.

En este escenario, el derecho tal como lo conocemos exhibe un límite estructural debido a que fue construido para regular conductas humanas, organizaciones identificables, territorios determinados y tecnologías sometidas, en última instancia, a alguna forma de control humano. Sus categorías tradicionales presuponen que el destinatario de la norma puede ser localizado, detenido o condicionado por quien ejerce legítimamente el poder. Pero una IA capaz de superar las capacidades humanas, replicarse, ocultar estratégicamente su comportamiento y participar de su propio perfeccionamiento pone en seria crisis esos presupuestos, puesto que de poco serviría una norma jurídicamente válida si su cumplimiento resultara materialmente imposible de imponer. El desafío no consiste en seguir regulando la IA mediante normas construidas en un mundo tecnológicamente analógico, sino en comenzar a construir un nuevo paradigma jurídico para la inteligencia artificial, que sea esencialmente preventivo, anticipatorio, adaptable, transnacional y dotado de instrumentos técnicos de cumplimiento, capaz de intervenir antes de que determinadas capacidades se tornen irreversibles. Porque si alguna vez desarrollamos una IA que pueda superarnos, el derecho no podrá limitarse a reaccionar después del daño: deberá ser capaz de conservar, desde el diseño mismo de esos sistemas, la posibilidad efectiva de que la decisión final continúe perteneciendo a los seres humanos. A menos que, en algún momento, los seres humanos y la IA nos fusionemos. Pero entonces estaremos ante otro mundo y, necesariamente, ante otro derecho: el mundo y el derecho de la singularidad.