Elon Musk presentó Colossus, la supercomputadora con 100.000 chips Nvidia que busca revolucionar la IA

Elon Musk ha dado un nuevo paso en el campo de la inteligencia artificial (IA) con su startup xAI, lanzada en julio pasado. La empresa ha completado la configuración de Colossus, un sistema de entrenamiento de IA que el magnate ha descrito como “el sistema de entrenamiento de IA más poderoso del mundo”.

Colossus está alimentado por 100.000 unidades de procesamiento gráfico (GPU) Nvidia H100, y tiene previsto duplicar su tamaño a 200.000 chips en los próximos meses, según reveló Musk en su plataforma social X. De este total, 50.000 serán los más potentes H200 de Nvidia. “Excelente trabajo del equipo, Nvidia y nuestros numerosos socios/proveedores”, dijo Musk, citado por Quartz.

Este avance tiene como objetivo principal el entrenamiento del próximo modelo de lenguaje grande (LLM) de xAI, llamado Grok, que busca competir con el GPT-4 de OpenAI. Musk adelantó que esperan lanzar Grok-3 para diciembre. Quartz señaló que la competencia en el ámbito de la IA incluye también a Meta, que junto con OpenAI también cuenta con cientos de miles de chips Nvidia.

En junio, xAI anunció la elección de Memphis, Tennessee, como sede para su supercomputadora. Empresas como Dell Technologies y Super Micro Computer han colaborado en la construcción de esta infraestructura. El CEO de Dell, Michael Dell, felicitó a Musk a través de X, mencionando que es un honor para la empresa ser parte de este importante sistema de entrenamiento de IA, informó Quartz.

xAI recaudó seis mil millones de dólares en una ronda de financiación Serie B en mayo, con inversionistas de renombre como Andreessen Horowitz y Sequoia Capital, lo que elevó la valoración de la startup a 24 mil millones de dólares.

Sin embargo, Silicon Angle reporta que la startup se enfrenta a críticas de defensores locales en Memphis por empeorar la contaminación debido al uso de turbinas de gas, mientras el esmog en la ciudad supera los estándares nacionales de calidad del aire.

Organizaciones ambientalistas están pidiendo al departamento de salud confirmar si xAI está operando sin los permisos necesarios y que se le ordene detener las operaciones hasta obtener las autorizaciones correspondientes. Este conflicto resalta una de las muchas complejidades y desafíos que enfrentan las startups en su avance en la tecnología de vanguardia.

Silicon Angle destacó que el superordenador Colossus ha superado a otros sistemas de IA, como el Aurora del Departamento de Energía de EEUU, al alcanzar una velocidad máxima de 10.6 exaflops con el 87% de su hardware activo en una prueba de referencia realizada en mayo.

Musk detalló en su publicación en X que Colossus está equipado con 100.000 tarjetas gráficas Nvidia H100, siendo una mejora significativa respecto a generaciones anteriores de GPUs, gracias a su módulo Transformer Engine optimizado para modelos basados en la arquitectura Transformer.

La H100 tiene capacidad para ejecutar modelos de lenguaje hasta 30 veces más rápido que las GPUs de generaciones anteriores, y su sucesor, H200, promete ser aún más rápido debido a mejoras arquitectónicas como el uso de memoria HBM3e y una capacidad de memoria aumentada a 141 gigabytes. Según Silicon Angle, estos avances permiten la transferencia de datos de manera significativamente más rápida, lo que se traduce en un mejor rendimiento de los modelos de IA.