
Y sí, es el tema del momento. Todo parece girar en torno a la inteligencia artificial. Ya jugaste un poco con ChatGPT: hiciste preguntas divertidas, tradujiste un documento e incluso creaste algunas imágenes. ¿Y ahora qué? El desafío que se plantea a la hora de empezar a usar la IA en serio, más allá de estudiar y aprender a usarla adecuadamente, es doble.
Primero está el tema de la privacidad, si quiero sacarle realmente provecho en lo personal o a nivel de negocios, la confidencialidad de mis datos es absolutamente crítica y trabajar con toda esa información en servicios basados en la nube da un poquito de miedo, sobre todo porque es más o menos vox populi que todas las IA se han entrenado con información de muchísimas fuentes a las cuales en general no se pidió permiso.
Segundo está el tema de costos, cuando se empieza a usar IA dentro de un proceso productivo “en serio” y empieza a consumir tiempo de cómputo, hay que pagarlo. Todas esas enormes granjas de servidores con tarjetas GPU de USD 40000 dólares de las que alardean los gigantes de la industria hay que amortizarlas. Y en muchos casos, los montos se pueden empezar a acumular hasta dejar de ser triviales.
De aquí entonces nace la idea de poder correr IA de forma local en la privacidad del hogar o empresa. Una de las tendencias que varios expertos están anticipando es el advenimiento de un nuevo tipo de equipo, un workstation dedicado alojar modelos de IA open source en forma local, donde poder montar un tipo de chatGPT propio, privado y personalizado, y alimentarlo con tu información, tus datos, tus documentos para poder sacarle mucho más provecho a la interacción diaria. Tendrá a disposición todo el historial de trabajo y mucho más contexto para poder entregar resultados basados en sus conocimientos y la forma de trabajar.
En este momento, los mayores consumidores de este tipo de equipos son del ámbito académico, las universidades están equipándose rápidamente con este tipo de workstation para hacer investigación y desarrollo y para que los estudiantes aprendan a sacarle el jugo a esta nueva tecnología. También hay muchas empresas que están avanzando por esta vía en muchas disciplinas, como medicina, ventas, administración de negocios, marketing y más.
¿Qué características tienen estos equipos?
En general se trata de equipos bastante pesados con procesadores de al menos 16 núcleos, como Intel Xeon o AMD Threadripper PRO, una cantidad de memoria que oscila entre los 128 y 256 GB de memoria. La cantidad de memoria se dimensiona en función de cuántos usuarios van a estar compartiendo y trabajando sobre modelos de IA. Obviamente, el punto neurálgico de esta configuración es el GPU (Unidades de Procesamiento Gráfico), donde lo más importante es cuánta memoria de vídeo tiene, siendo las más buscadas las que poseen 24 GB o más. Esto es lo que permite cargar el modelo de IA completo en memoria y procesar de manera fluida y sin demoras. Otro punto para destacar es no solamente poseer almacenamiento de la capacidad adecuada, sino que también sea de alta velocidad de respuesta, ya que estás trabajando con archivos realmente pesados y uno no quiere quedarse esperando a que carguen, por eso se recomiendan unidades NVMe de última generación.
Y sí, son equipos cuyo costo puede superar fácilmente los USD 10.000, pero el potencial de que sean usados por muchos ayuda a justificar la inversión. ¿Y una versión de menor presupuesto? Seguro, para dar los primeros pasos se puede comenzar con un equipo ensamblado con un procesador “gamer” de 8 núcleos, 32GB o 64GB de memoria, un SSD rápido y sí, la parte que no es muy negociable es la tarjeta gráfica con mucha memoria, se suelen usar modelos gamer de AMD o NVIDIA con al menos 16 o 24GB de VRAM. Con una configuración como esa, se pueden hacer cosas muy interesantes a nivel productivo.
Pero… y ¿qué pasa con todos los nuevos laptops que se anuncian como “IA PC”?
En verdad todo este desarrollo tecnológico está ocurriendo con una velocidad inusitada, y los modelos que actualmente se encuentran en el mercado que incorporan núcleos dedicados quizás aún no tienen la potencia necesaria para correr modelos completos, sino más bien apoyar el uso basado en la nube. Ya los modelos nuevos que debutan el próximo año incorporan mucha más potencia de procesamiento y esto se podría lograr en un laptop, solo hay que ver si la cantidad de memoria será suficiente. A futuro es totalmente probable que puedas tener un agente local de alto rendimiento corriendo en tu laptop Y acompañándote adonde vayas. Pero eso es tema para la próxima…
El autor es Gerente de Tecnología de Kingston para Latam
Últimas Noticias
El huracán León pasó como una brisa suave
El pontífice recorrió Palermo, Córdoba y Luján, donde miles de personas participaron de celebraciones y siguieron su paso por las calles, según el balance expuesto en el texto durante cuatro días

La UBA, entre los organismos más transparentes del Estado
El Índice de Transparencia del propio Gobierno nacional la ubica con 92,3 puntos sobre 100, muy por encima del promedio y de varios ministerios
El día que dije sí: mi experiencia como voluntaria en la visita del papa León XIV
Durante la visita del Pontífice a la Argentina, el voluntariado me llevó del armado de kits para los peregrinos al Cottolengo de mi infancia y a la emoción de Luján. Una experiencia que me permitió reencontrarme con mis raíces y redescubrir la alegría del servir

Echar al fundador: la decisión más desgarradora para una empresa
La destitución del creador de Nvidia, la empresa más valiosa del mundo, expone una tensión estructural del gobierno corporativo: cuándo la indispensabilidad de un líder se convierte en un riesgo institucional para la organización que construyó

La reforma del Código Penal: justicia, estabilidad económica y seguridad jurídica
El proyecto de modernización incorpora figuras delictivas inéditas vinculadas a la administración de recursos públicos, en un intento de fortalecer la confianza institucional como condición para el desarrollo económico del país




