El modelo experimental DeepSeek V3.2-Exp mejora la eficiencia y reduce los costes con un sistema de "atención dispersa"

DeepSeek ha lanzado un nuevo modelo de inteligencia artificial (IA) experimental al que se refiere como V3.2-Exp, que ha sido diseñado para reducir el coste de inferencia mediante un planteamiento de "atención dispersa", con el que logra mejoras significativas en la eficiencia, tanto en el entrenamiento como en la inferencia, especialmente en escenarios de contexto largo.

Este nuevo modelo se ha desarrollado sobre el modelo anterior de la tecnológica china V3.1-Terminus. Sin embargo, al integrar el sistema de "atención dispersa" 'DeepSeek Sparse Attention' (DSA), mejora su eficiencia de tal manera que permite reducir en un 50 por ciento los precios de la API.

Tal y como lo describe la compañía, el DSA trata de alcanzar un entrenamiento e inferencia "más rápidos y eficientes" en un contexto largo. Para ello, según ha matizado a través de una publicación en su web y un artículo en GitHub, se basa en un sistema que utiliza un módulo llamado 'indexador Lightning', que prioriza fragmentos específicos de la ventana de contexto.

Tras ello, dichos fragmentos pasan por un proceso de "selección de tokens de grano fino", que son los que finalmente utiliza el modelo en su ventana de atención dispersa para procesar las solicitudes.

Como resultado de este proceso, el modelo puede tener en cuenta grandes proporciones de contexto y varias líneas de pensamiento simultáneamente, pero con cargas de información más reducidas, lo que se traduce en mejor rendimiento y consigue disminuir el costo computacional.

Asimismo, la compañía también ha detallado que, según sus pruebas internas, los puntos de referencia obtenidos muestran que V3.2-Exp funciona al mismo nivel que V3.1-Terminus, tanto a nivel de agente de búsqueda, como en tareas de codificación o de matemáticas.

DeepSeek ha puesto a disposición de los usuarios en formato abierto el nuevo V3.2-Exp, para que lo puedan probar a través de la aplicación de DeepSeek, la versión web y mediante su API. Es en este último caso donde ha subrayado que los precios se disminuyen más del 50 por ciento "con efecto inmediato", gracias a la eficiencia obtenida.

Con todo ello, se ha de tener en cuenta que, por el momento, DeepSeek V3.2-Exp es un modelo experimental, por lo que la compañía irá mejorando sus capacidades para futuras versiones.