Un estudio de Apple apunta que los modelos de razonamiento colapsan y son menos precisos al resolver problemas complejos

Investigadores de Apple han concluido que los modelos de razonamiento de inteligencia artificial a gran escala (LRM) disponen de capacidades de escalamiento limitadas y, ante solicitudes que requieren cierto nivel de complejidad, pueden colapsarse generando resultados menos precisos.

Algunos de los principales modelos de lenguaje actuales, como es el caso de ChatGPT de OpenAI, Claude de Anthropic, Gemini de Google o Deepseek, han ido agregando modelos de razonamiento LRM, de cara a mejorar sus capacidades a la hora de resolver solicitudes, realizando procesos de pensamiento detallados antes de proporcionar respuestas.

Esto se debe a que, a diferencia de los modelos de lenguaje grandes (LLM), estos modelos se enfocan en el razonamiento lógico y la resolución de tareas complejas, en lugar de limitarse a generar texto.

Aunque estos modelos demuestran un rendimiento mejorado, Apple considera que sus capacidades fundamentales, propiedades de escala y limitaciones "siguen sin comprenderse lo suficiente", por lo que ha llevado a cabo una investigación para ponerlos a prueba, en la que ha concluido que se enfrentan a "un colapso total de la precisión más allá de ciertas complejidades".

Así lo ha recogido la tecnológica en un documento titulado "La ilusión del pensamiento: comprender las fortalezas y limitaciones de los modelos de razonamiento a través de la lente de la complejidad del problema", compartido en su web, donde ha detallado las limitaciones encontradas en modelos como o3-mini de OpenAI, DeepSeek-R1 de DeepSeek, Gemini Thinking de Google y Claude-3.7-Sonnet-Thinking de Anthropic.

Este análisis se ha llevado a cabo porque, según ha explicado, las evaluaciones actuales de los modelos se centran principalmente en puntuaciones de matemáticas o codificación que se remiten a la precisión de la respuesta final, lo que no proporciona información concreta sobre las capacidades de razonamiento de los modelos.

Sin embargo, este estudio se basa en entornos de rompecabezas controlables, como el rompecabezas de la torre de Torre de Hanói, que permiten manipular de forma precisa la complejidad de los retos, al tiempo que mantienen las estructuras lógicas consistentes. Por tanto, posibilita analizar no solo las respuestas finales, si no el razonamiento interno, cómo piensan los LRM.

Al exponerse a estos retos controlados, Apple ha asegurado que los LRM presentan deficiencias en la calidad de su razonamiento ante problemas de complejos, ya que se colapsan y buscan atajos para resolver la tarea en cuestión.

Concretamente, la tecnológica ha señalado que, tras una amplia experimentación con diversos rompecabezas, en la que se han comparado los LRM con los LLM en tareas de baja complejidad, complejidad media y alta complejidad, se ha demostrado que los LRM disponen de un límite de escalamiento "contra-intuitivo".

Esto significa que, aunque el esfuerzo de razonamiento del modelo aumenta con la complejidad del problema, solo llega hasta cierto punto, después, comienza a declinar a pesar de tener un presupuesto de tokens suficiente.

Es decir, cuanto más difíciles son los rompecabezas, más esfuerzo de computación y razonamiento ejerce el modelo hasta cierto punto de complejidad, cuando colapsa buscando atajos para resolver el problema y, por tanto, ofrece resultados menos precisos.

"Los LRM tienen limitaciones en el cómputo exacto" ha aclarado la tecnológica, al tiempo que ha señalado que no utilizan algoritmos explícitos y "razonan de manera inconsistente entre los acertijos".

Con todo, Apple ha especificado que en tareas de baja complejidad, los modelos estándar superan a los LRM. No obstante, en tareas de complejidad media el pensamiento adicional en los LRM demuestra ventaja y, finalmente, en tareas de alta complejidad "ambos modelos experimentan un colapso completo".