Google Cloud impulsa la era de la inferencia con sus nuevas TPU Ironwood y las máquinas virtuales Axion

Google Cloud ha anunciado la disponibilidad general de Ironwood, su unidad de procesamiento tensorial (TPU) de séptima generación, y nuevas instancias de máquinas virtuales basadas en Axion Arm.

Las infraestructuras de inteligencia artificial (IA) demandan herramientas que ayuden a seguir el rápido crecimiento que está teniendo esta tecnología. Para satisfacer la demanda, Google ha presentado novedades que ofrecen gran rendimiento y reducen los costes tanto para las cargas de trabajo de IA (Ironwood) como para las CPU de uso general (Axion) que soportan esas aplicaciones de IA.

Ironwood es el nombre que reciben las TPU de séptima generación de Google Cloud. Se trata de aceleradores de inteligencia artificial que están optimizados para el entrenamiento y la inferencia de grandes modelos.

Según ha detallado en una nota de prensa, tienen un rendimiento máximo diez veces superior al de las TPU v5p y un rendimiento por chip más de cuatro veces superior tanto para cargas de trabajo de entrenamiento como de inferencia en comparación con TPU v6e (Trillium).

Con Ironwood es posible integrar hasta 9.216 chips en un 'superpod', conectándolos entre sí mediante la red ICI (Inter-Chip Interconnect), que trabaja a 9,6Tb/s, permitiendo que alcancen unos 1,77 Petabytes de memoria de alto ancho de banda compartida.

Las TPU Ironwood, que estarán disponibles con carácter general en las próximas semanas, ayudarán a Anthropic ejecutar sus modelos Claude, que accederá a cerca de un millón de unidades.

Por otra parte, las nuevas máquinas virtuales basadas en Axion Arm se han ampliado con la instancia N4A, que se encuentra en fase de vista previa y ofrece un rendimiento más de dos veces superior al de las máquinas virtuales basadas en x86 de la generación actual comparables.

Google también ha anunciado su primera instancia 'bare-metal', C4A metal, que pronto estará disponible en fase de vista previa. Proporciona servidores físicos dedicados para cargas de trabajo especializadas, como desarrollos en Android o granjas de pruebas a gran escala.

Esta máquinas virtuales ya se han probado con socios de industria. Según la compañía tecnológica, Vimeo observó una mejora del rendimiento del 30 por ciento en N4A para su carga de trabajo de transcodificación principal, y ZoomInfo midió una mejora del 60 por ciento en la relación precio-rendimiento para sus cargas de trabajo de procesamiento de datos clave en N4A.