El sistema ZeroSearch de Alibaba reduce en un 88% el coste de entrenamiento de los modelos de IA sin recurrir a internet

Alibaba ha desarrollado un nuevo método de entrenamiento para modelos de inteligencia artificial (IA) ZeroSearch, con el que evita la necesidad de interactuar con motores de búsqueda externos impulsando búsquedas simuladas durante el entrenamiento y, por tanto, consigue reducir el coste del entrenamiento en hasta un 88 por ciento.

La tecnológica asiática pretende desarrollar nuevos sistemas que reduzcan los costes relacionados con el entrenamiento de los modelos de IA, de cara a facilitar el desarrollo y uso de esta tecnología por parte de cualquier compañía, incluso de aquellas de menor tamaño o recursos.

En este sentido, Alibaba ha presentado un nuevo método de entrenamiento para modelos de IA al que ha denominado ZeroSearch, que se basa en un sistema que mejora las capacidades de búsqueda de los modelos mediante simulaciones, sin necesidad de interactuar con motores de búsqueda externos reales a la hora de entrenarlos.

En concreto, según recoge la compañía en su repositorio de GitHub, se trata de un marco de aprendizaje de refuerzo que incentiva la capacidad de los modelos extensos de lenguaje (LLM) para "utilizar un motor de búsqueda real, con búsquedas simuladas durante el entrenamiento".

Así, en lugar de que el modelo interactúe directamente con un motor de búsqueda real durante su entrenamiento, simplemente se limita a realizar simulaciones de búsquedas para mejorar sus capacidades en este sentido.

Este enfoque se debe a que permitir la interactuación con los motores de búsqueda es una práctica especialmente costosa. Tal y como ha ejemplificado la tecnológica en un comunicado recogido por South China Morning Post, enviar 64.000 consultas a Google a través de una API tiene un coste de alrededor de 586,70 dólares (528,50 euros al cambio).

Sin embargo, cuando se utiliza un modelo de IA de 14.000 millones de parámetros para generar respuestas para el entrenamiento, este coste de recurrir a buscadores externos se reduce a los 70,80 dólares (63,78 euros al cambio), lo que significa una reducción de coste del 88 por ciento a la hora de entrenar los modelos.

De esta forma, el medio mencionado ha señalado que, mediante el sistema ZeroSearch, Alibaba permite transformar un modelo en un motor de búsqueda que, a su vez, puede entrenar a otros sistemas de IA para responder consultas complejas, dejando de depender de una infraestructura de búsqueda externa que conlleva altos costes.

"Los resultados muestran que ZeroSearch supera a los modelos basados en motores de búsqueda reales, sin incurrir en ningún coste de API", ha sentenciado la compañía al respecto. Asimismo, puede mejorar las capacidades de búsqueda de los modelos de IA, así como sus capacidades de razonamiento y generación de contenido.

Este sistema ya ha sido utilizado para mejorar las capacidades de la aplicación de IA de Alibaba Quark que, impulsada por los modelos Qwen de la tecnológica, también incluyó capacidades de razonamiento profundo, con lo que ofrece respuestas precisas a consultas complejas, según la compañía.