Lanzaron un concurso con un premio de U$D 1 millón para una IA que pueda resolver acertijos

Resolver acertijos y puzzles lógicos, como los pares de cuadrículas de colores, es una tarea sencilla para muchos humanos. Sin embargo, representa un verdadero reto para los modelos de inteligencia artificial (IA). Un nuevo premio de 1 millón de dólares busca incentivar el desarrollo de una IA capaz de resolver estos acertijos.

Empresas como OpenAI afirman que sus modelos de IA, como GPT-4, muestran “rendimiento a nivel humano” en pruebas del mundo real, tales como exámenes de admisión universitaria o el examen de abogacía.

Sin embargo, Mike Knoop de la empresa de software Zapier, señala que esto no significa que los modelos de IA estén realmente razonando de manera inteligente a la par de los humanos.

“Han memorizado efectivamente las respuestas de la vasta cantidad de datos de internet con los que han sido entrenados”, sentenció Knoop según New Scientist.

El desafío del premio millonario

Knoop y François Chollet de Google han anunciado la creación de un fondo de premio de 1 millón de dólares. Este premio está dirigido a cualquier IA que pueda desempeñarse a nivel humano o mejor en el Corpus de Abstracción y Razonamiento (ARC), una prueba creada por Chollet en 2019.

Esta prueba, para el “ARC Prize” fue diseñada para ser resistente a la memorización -a lo que las IAs son buenas- y para requerir un tipo de inteligencia general y básica que es natural en los humanos.

La prueba se basa en cuadrículas con formas pixeladas que están emparejadas siguiendo un patrón específico, como dibujar un camino entre dos objetos de un mismo color determinado o desplazar los píxeles de un objeto de manera consistente.

Para responder correctamente, es necesario identificar el patrón observando los ejemplos y luego utilizar esa información para completar un nuevo par, explicó el medio New Scientist.

Para resolver estas cuadrículas se necesita un pequeño conjunto de capacidades de razonamiento, según Knoop. Estas incluyen la permanencia de objetos, la dirección de metas, el conteo y la geometría básica.

Son habilidades que incluso los niños pequeños demuestran en cuanto a los seres humanos. Pero que generalmente faltan en los modelos de lenguaje grande (LLMs) como el de GPT-4.

Si alguien llega a ganar el gran premio (se logra con una puntuación del 85% o 1 punto porcentual más que el promedio humano) habrá diseñado un sistema de IA mucho más capaz que los modelos actuales.

Knoop confía en que un modelo de este tipo también pueda evitar problemas comunes en los sistemas de IA actuales, como la propensión de los modelos de lenguaje grande (LLMs) a generar información ficticia.

Los investigadores que tengan en sus planes participar pueden practicar con un conjunto de datos disponible públicamente. Sin embargo, para ganar el premio, deberán superar una prueba ARC offline, que se mantiene privada para evitar que los LLMs memoricen las respuestas.

“Está probando algo muy importante, que es la capacidad de los sistemas para lidiar con la novedad”, dijo Thomas Dietterich de la Universidad Estatal de Oregón a New Scientist.

“Cuando miras modelos de lenguaje grande, básicamente están memorizando y quizás generalizando a partir de todo este material histórico que han leído. Pero eso no necesariamente los prepara para la novedad”, agregó.

Para Dietterich no está claro si podría haber formas de resolver los desafíos del ARC con el uso de técnicas que no requieren las capacidades que Knoop y Chollet esperan poner a prueba.

“Podrían encontrar una manera de generar todas las posibles instancias de los problemas ARC mediante fuerza bruta computacional y memorizar las respuestas”, sugirió Dietterich.

A pesar de este riesgo, Knoop afirma que una de las estipulaciones para ganar el premio es que las tareas deben resolverse “eficientemente”. Esto significa que los equipos tienen un máximo de 12 horas y solo una cantidad limitada de poder de cómputo para resolver el acertijo.