La inteligencia artificial también tiene una caja negra, cómo funciona

El concepto de caja negra se ha asociado principalmente a los aviones, siendo un elemento clave para identificar detalles del funcionamiento de la nave en caso de un accidente. Un término que se traslada a la inteligencia artificial aunque con un objetivo diferente.

La idea es proteger la información que permite el desarrollo de la IA y que se debe resguardar de agentes externos, por la importancia y complejidad de los datos almacenados. Sin embargo, tiene una serie de riesgos ante el poco control de los resultados que puede generar.

La caja negra de la IA

Cualquier modelo que está detrás de una inteligencia artificial, como el caso de GPT para ChatGPT o de PaLM-2 para Bard, cuenta con miles de millones de parámetros de los que aprende para generar resultados.

Un proceso que puede ser transparente o estar oculto, como sucede con el modelo de caja negra, que genera un resultado sin mostrar cómo lo hizo, por lo que todos los procesos internos desconocidos para el usuario.

Esto se hace, en gran medida, para generar un espacio en el que se cuide la propiedad intelectual de los desarrolladores, evitando que se revele información sensible de la operación.

El uso de este modelo abre la puerta una serie de riesgos, como por ejemplo, que ni los programadores o desarrolladores tengan claro cómo es el proceso de generación de resultados, ya que ese paso a paso queda en manos del algoritmo y el usuario solo ingresas los datos de la solicitud y espera un resultado.

Un ejemplo de esta situación fue lo que sucedió con un grupo de investigadores de Google, que estaban trabajando en un software de IA y vieron cómo el sistema aprendió un nuevo idioma por sí solo. “Descubrimos que con muy pocas indicaciones en bengalí, ahora puede traducir todo el bengalí”, aseguró James Maneka, el jefe de la división de IA de la empresa.

Todo esto se da porque al recibir una gran cantidad de datos, el modelo aprende constantemente, el algoritmo interno va escalando y adquiere nuevos conocimientos sin necesidad del control humano.

“No lo entiendes del todo. No puedes decir muy bien por qué [el robot] dijo esto o por qué se equivocó en esto otro. Tenemos algunas ideas y nuestra capacidad para entenderlo mejora con el tiempo. Pero ahí es donde estamos hasta ahora”, afirmó el director ejecutivo de Google, Sundar Pichai.

Riesgos y oportunidades

El modelo de caja negra ha sido implementado en varios sistemas de inteligencia artificial actual, y si bien existes riesgos ante el poco control del proceso, los expertos aseguran que este es el inicio de un desarrollo y se debe tomar como una oportunidad.

“Tampoco creo que entendamos completamente cómo funciona la mente humana. Creo que en el desarrollo de esto debe incluirse no solo a ingenieros, sino también a científicos sociales, especialistas en ética, filósofos, etcétera. Estas son las cosas que la sociedad necesita resolver a medida que avanzamos”, dijo Pichai.

Una línea por la que también va Ian Hogarth, cofundador de la empresa tecnológica Plural, que asegura que este debe ser el momento en el que la dilución sea social, porque la IA va a transformar la vida de las personas y se debe dialogar abiertamente de este impacto.

“Creo que tiene un potencial notable para transformar todos los aspectos de nuestras vidas. Lo principal es que deberíamos tener un debate mucho más público sobre la rapidez con la que progresan estos sistemas y lo diferentes que son de las generaciones anteriores de software”, contó a la BBC.

Algunas de las ventajas de este modelo son la gran velocidad de aprendizaje y la generación de contenido, permitiendo procesar más información de la que es capaz un humano. Además, cuenta con una mejor capacidad de identificar intentos de fraude y puede predecir de mejor manera los patrones que encuentra en sus datos. Puntos que le dan a la caja negra la oportunidad para seguir siendo explorada.