AMD ha presentado Instella, una nueva familia de modelo de lenguaje de gran tamaño (LLM, por sus siglas en inglés) con 3.000 millones de parámetros que facilita bajo una modalidad "totalmente abierta".
Instella se componen de cuatro modelos: Instella-3B-Stage1, para el desarrollo del lenguaje natural en la fase de preentrenamiento; Instella-3B, para la mejora de las capacidades para resolver problemas en la fase de preentrenamiento; Instella-3B-SFT, que utiliza el ajuste fino supervisado para habilitar el seguimiento de instrucciones; y Instella-3B-Instruct, para fortalecer las capacidades de chat y alinearlo con las preferencias humanas.
La compañía tecnológica ha utilizado 128 GPU Instinct MI300X para entrenar Instella desde cero usando para ello 4,15 billones de tokens. Con ello, han aumentado la capacidad y la escalabilidad del modelo respecto de su predecesor, AMD OLMo -se entrenó con 64 GPU Instinct MI250 y 1,3 billones de tokens y ofrecía mil millones de parámetros-.
Como resultado, el rendimiento de esta familia de LLM supera al de los modelos abiertos más avanzados del momento comparables en tamaño, como Llama-3.2-3B, Gemma-2-2B y Qwen-2.5-3B, como aseguran desde AMD en una nota de prensa.
AMD ha publicado Instella como una familia de LLM "totalmente abierta y accesible", lo que significa que ha facilitado el acceso al peso de los modelos, los hiperparámetros de entrenamientos, los conjuntos de datos y el código. Pueden encontrarse en Hugging Face y GitHub.
"Al abrir completamente el código fuente de los modelos de Instella pretendemos fomentar la innovación y la colaboración dentro de la comunidad de IA", afirman.
Últimas Noticias
EEUU levanta las sanciones al petróleo de Irán que ya está cargado en buques
Washington autoriza transacciones con crudo iraní presente en embarcaciones desde marzo, tras una escalada en Oriente Próximo que elevó el costo internacional del combustible y generó tensiones por el cierre temporal de rutas marítimas clave en la región
Irán amenaza con atacar el puerto de Ras al Jaima, en EAU, si se "reanudan" ataques desde territorio emiratí
El ejército de Teherán advierte que responderá de forma contundente ante cualquier ofensiva emiratí sobre las disputadas islas del golfo Pérsico, luego de la interceptación de misiles y drones atribuidos a la República Islámica
Trump ve bien que EEUU se retire de las bases militares de Rota y Morón
El mandatario estadounidense respalda la propuesta de retirar unidades militares tras el veto del gobierno español a su uso en conflictos con Irán, criticando además la falta de apoyo europeo en la defensa del estratégico estrecho de Ormuz
El Bournemouth rescata otro empate ante el Manchester United
El Manchester United desperdició la oportunidad de afianzarse en la clasificación tras igualar 2-2 frente a un rival que, con cinco duelos consecutivos sin vencer, sigue sumando en la mitad de la tabla de la Premier League
La pegada del Villarreal desmonta a la Real en 20 minutos
Un arranque imparable en La Cerámica le permitió al equipo de Marcelino anotar tres goles en menos de media hora ante un rival que reaccionó tarde y perdió la oportunidad de seguir peleando los puestos europeos de LaLiga
