Qualcomm AI Hub ya admite los dispositivos con Snapdragon X Elite

Los modelos de lenguaje grande (LLM, por sus siglas en inglés) requieren gran cantidad de procesamiento y energía en su ejecución, lo que limita su despliegue en dispositivos con características más limitadas, como los teléfonos móviles. Qualcomm aborda este problema con la cuantificación de los LLM, una técnica que, como explica, se utiliza "para reducir la precisión de los números utilizados en los cálculos, lo que a su vez disminuye el tamaño del modelo y los recursos necesarios para ejecutarlo". "Al reducir el tamaño y las demandas computacionales de los LLM, las aplicaciones de IA pueden volverse más accesibles y ejecutarse de manera eficiente en una gama más amplia de dispositivos, desde teléfonos inteligentes hasta dispositivos de IoT", apuntan el ingeniero, personal sénior/gerente de Qualcomm Technologies Holanda BV, Mart van Baalen; y director sénior de Ingeniería de software de Qualcomm Technologies, Inc., Abhijit Khobare. De las distintas técnicas que se engloban en la cuantificación, los investigadores destacan la cuantización vectorial, porque conduce a una compresión más eficiente y una menor pérdida de información al optar por la distribución conjunta de los parámetros en lugar de cuantificar cada parámetros de manera independiente. Los desarrolladores pueden acceder a estas técnicas con AI Model Efficiency Toolkit, una biblioteca que ofrece técnicas de cuantificación y comprensión de modelos para su entrenamiento, y dentro de Qualcomm AI Hub, que ya cuenta con más de cien modelos optimizados, aunque también permite el uso de modelos propios. Este último permite, como novedad, ejecutar los modelos en los dispositivos que integren Snapdragon X Elite, un procesador de Qualcomm diseñado para ordenadores con capacidad para ejecutar modelos de IA generativa con más de 13.000 millones de parámetros. Es compatible con Facebook Denoiser, Llama2, OpenAI Clip, Riffusion, Stable Diffusion v2.1 y Whisper, entre otros. Snapdragon X Elite ha llegado al mercado recientemente impulsado una nueva categoría de ordenadores diseñados para la era de la IA, como los Copilot+ PC de la mano de Microsoft Windows.