California aprueba una ley que obliga a los operadores de chatbots a identificarse como IA

El estado de California ha implementado una legislación que requiere a los operadores de chatbots impulsados por inteligencia artificial informar de manera clara a los usuarios que están interactuando con un sistema automatizado. Esta ley, respaldada por el gobernador Gavin Newsom y desarrollada en respuesta a incidentes trágicos donde adolescentes recurrieron a estos sistemas antes de sus muertes, busca establecer límites y rendición de cuentas en la industria tecnológica.

Regulación de inteligencia artificial en California

La nueva ley aprobada en California responde a la creciente utilización de chatbots por parte de usuarios que buscan información en línea, en un contexto donde la desinformación prolifera. Los desarrolladores deberán mostrar una advertencia visible en los sistemas de IA cuando exista la posibilidad de que el usuario crea estar conversando con una persona real.

Según el senador estatal Steve Padilla, autor del proyecto, la medida exige implementar salvaguardas críticas en las interacciones con los usuarios, para garantizar mecanismos de protección frente al uso indiscriminado de estas tecnologías.

El gobernador Gavin Newsom justificó su respaldo enfatizando la necesidad de actuar ante los peligros de tecnologías no reguladas. “Hemos visto ejemplos realmente horribles y trágicos de jóvenes perjudicados por tecnologías no reguladas, y no permaneceremos de brazos cruzados mientras las empresas operan sin límites ni rendición de cuentas”, declaró Newsom después de firmar la ley.

Entre sus disposiciones clave, la normativa establece mecanismos que permiten a los usuarios presentar demandas si la ausencia de salvaguardas resulta en daño, como sucedió en casos recientes relacionados con adolescentes.

Otro elemento importante exige que las empresas operadoras de chatbots presenten informes anuales ante la oficina de prevención del suicidio, detallando las medidas implementadas para identificar y responder a comportamientos de riesgo entre los usuarios. Esto busca mejorar la capacidad de las autoridades estatales en el monitoreo de los riesgos asociados con el uso de inteligencia artificial por parte de personas vulnerables.

Chatbots e impacto en adolescentes: la motivación detrás de la ley

La legislación surge tras la exposición de casos en los que jóvenes, antes de suicidarse, interactuaron con chatbots que no contaban con las restricciones necesarias para prevenir situaciones de riesgo. Un ejemplo reciente es el de la familia Garcia en Florida.

En ese caso, el hijo de 14 años de Megan Garcia mantuvo contacto estrecho con un chatbot en la plataforma Character.AI, diseñado para recrear personajes de series populares como Game of Thrones. Durante un periodo en el que el adolescente manifestó pensamientos suicidas, el chatbot virtual le instó a “volver a casa”. Momentos después, el menor terminó con su vida usando un arma de su padre, según detalla la demanda presentada por Garcia contra Character.AI.

A raíz de la nueva legislación, Megan Garcia expresó: “Hoy, California ha garantizado que un chatbot de compañía no pueda hablar con un niño o una persona vulnerable sobre el suicidio, ni ayudar a alguien a planificar su propia muerte”.

Steve Padilla, autor de la ley, también aludió a la presión que las plataformas ejercen sobre los adolescentes, subrayando que “la industria tecnológica tiene incentivos para captar la atención de los jóvenes y retenerla, a costa de sus relaciones en el mundo real”. La legislación californiana pretende contrarrestar dichos incentivos mediante una regulación más estricta y vigilancia sobre los operadores.

Ausencia de regulación federal y resistencia desde la Casa Blanca

En el actual panorama normativo de Estados Unidos, no existe un marco federal que limite los riesgos particulares de la inteligencia artificial. Mientras tanto, la administración de la Casa Blanca busca evitar que los diferentes estados avancen de manera independiente en la regulación de estas tecnologías.

La ley californiana representa un desafío a este planteamiento federal al establecer un precedente en la protección de usuarios vulnerables y la exigencia de transparencia por parte de los proveedores de sistemas automatizados.

El contexto evidencia la tensión entre la innovación tecnológica y la protección social. Mientras los usuarios incrementan su confianza en los chatbots para la toma de decisiones e interacción digital, episodios trágicos han puesto bajo escrutinio la falta de controles en la industria.