Hugging Face reconstruirá el modelo DeepSeek-R1 para responder las dudas que deja sobre los datos y el entrenamiento

Hugging Face planea responder a las dudas que genera el modelo de razonamiento DeepSeek-R1 con una reconstrucción de los datos y el trabajo de entrenamiento en una iniciativa que han denominado Open-R1.

DeepSeek-R1 forma parte de la nueva familia de modelos de razonamiento que la empresa china DeepSeek ha lanzado recientemente. Construido a partir de DeepSeek V3 y bajo un proceso de aprendizaje de refuerzo puro, alcanza un rendimiento en tareas de razonamiento comparable a OpenAI o1.

O al menos eso es lo que asegura la compañía en los papeles técnicos que ha compartido sobre el modelo de razonamiento. Sin embargo, aunque quedan detalles por saber, como los conjuntos de datos que se han utilizado, el código de entrenamiento y las leyes de escala, que permiten ver las compensaciones entre computación y datos en el entrenamiento.

Para responder a estas incógnitas, desarrolladores de Hugging Face han anunciado la iniciativa Open-R1. "El lanzamiento de DeepSeek-R1 es un gran beneficio para la comunidad, pero no publicaron todo: aunque los pesos del modelo están abiertos, los conjuntos de datos y el código utilizado para entrenar el modelo no lo están", explican en el blog oficial de Hugging Face.

El objetivo de esta iniciativa es "construir estas últimas piezas que faltan para que toda la comunidad de investigación e industria pueda construir modelos similares o mejores utilizando estas recetas y conjuntos de datos".