Anthropic pidió a California que los tribunales puedan suspender modelos de IA que sean un riesgo

Anthropic, la empresa que desarrolla el chatbot Claude, le pidió al gobernador de California, Gavin Newsom, que los tribunales tengan autoridad para bloquear programas de IA que planteen riesgos graves. La petición figura en una carta enviada en octubre, que el medio Politico publicó el 27 de ese mes.

La carta responde a una orden ejecutiva que Newsom emitió el mes anterior. Esa orden plantea, entre otras ideas, procedimientos de apagado de emergencia, conocidos como kill switch (interruptor de apagado), y la presencia de monitores de seguridad independientes dentro de las empresas de IA.

Anthropic propone que los evaluadores independientes puedan informar los riesgos que detecten al fiscal general del estado. Si este concluye que los modelos de una empresa implican un “riesgo inminente de daño catastrófico”, podría pedir una orden judicial para suspender su uso, su empleo interno o su desarrollo posterior.

Los grandes desarrolladores, agrega la carta, deberían publicar informes sobre los riesgos de sus programas al menos cada seis meses. La empresa sostiene que California puede convertirse en modelo para otros estados y en punto de partida de futuros debates de política pública.

Cómo funciona la propuesta de Anthropic

Anthropic detalla además cómo deberían funcionar los auditores. Su acceso a la empresa, dice, tendría que ser comparable al que los bancos dan a sus auditores externos y similar al del personal que evalúa riesgos dentro de la compañía, con límites para datos sensibles de clientes o detalles técnicos sin relación con el riesgo.

La compañía también cambia la forma de pago. En lugar de que las empresas contraten y paguen directamente a los evaluadores, propone que aporten a un fondo administrado por el Estado.

Las autoridades calificarían a los auditores según criterios como el rigor de su razonamiento y su historial para detectar riesgos. Con esa calificación podrían exigir que las empresas usen al menos un evaluador bien puntuado, o asignárselo por sorteo o rotación.

Un apagado total solo en situaciones extremas

Anthropic respalda los mecanismos de apagado: afirma que toda empresa de IA de frontera debería poder detener con rapidez los modelos que ofrece o usa internamente. Advierte, sin embargo, que una ley centrada solo en eso podría dar una “falsa sensación de tranquilidad”.

Según la carta, retirar un modelo completo “solo tiene sentido en situaciones extremas”. La empresa usa la imagen de un cortacircuitos: los sistemas de monitoreo deben detectar problemas y responder en el nivel donde ocurren. Dice que ya tiene procesos para incidentes críticos y apagado rápido, que actualiza con las nuevas capacidades de la IA.

OpenAI, su principal competidor, envió a Newsom una carta similar la semana anterior, según Politico. También apoya controles de apagado y auditores independientes dentro de las empresas, pero no llegó a proponer que se autorice a un gobierno a bloquear un modelo de alto riesgo.

Un debate que ya está en Washington y Sacramento

La propuesta llega después de que Politico informara que Anthropic presentó a legisladores federales un borrador de ley. Según ese medio, el texto permitiría bloquear un modelo solo ante un riesgo de matar o herir gravemente a 50 personas o más, o de causar daños por USD 1.000 millones.

Politico señala que el Congreso de California volverá a sesionar en aproximadamente un mes, y que se espera que impulse varias regulaciones. Mientras tanto, los legisladores estatales celebran audiencias para definir su rumbo en seguridad de la IA.

Escritores rechazan demandan a Anthropic por usar sus libros

Los escritores de Stanford Tobias Wolff y Chang-rae Lee demandaron a Anthropic por usar sus libros pirateados para entrenar a Claude, y rechazaron el acuerdo colectivo de USD 1.500 millones. Piden hasta USD 150.000 por obra y un juicio con jurado.

A diferencia del caso Bartz, donde un juez sí dictaminó infracción, en esta causa no hay sentencia. Wolff calificó la situación como “una forma de trabajo esclavo”. Fuera de estos casos, más de 70 demandas similares contra empresas de IA siguen sin resolución en Estados Unidos.