Touchcast Inc., una startup que almacena en caché las consultas de inteligencia artificial generativa más frecuentes para hacer los sistemas de IA más eficientes, está recaudando 100 millones de dólares de patrocinadores de riesgo, incluyendo a Microsoft Corp., inversor en OpenAI.
Touchcast, con sede en Nueva York, almacena y entrega respuestas para instrucciones de IA utilizadas, reduciendo los recursos computacionales y la energía requerida para usar modelos como GPT-4 de OpenAI. El objetivo es ayudar a los desarrolladores y empresas a desplegar IA generativa de manera más amplia, con menores costos y tiempos de respuesta más rápidos.
Touchcast, respaldada por Accenture Plc, tendrá una valoración de al menos 350 millones de dólares después de la nueva financiación, dijo el director ejecutivo Edo Segal, declinando proporcionar detalles del capital que ha invertido Microsoft. Touchcast está en conversaciones con grandes inversores de Silicon Valley, dijo en una entrevista.
Las empresas están desplegando sistemas de IA para agilizar las tareas diarias, pero la creciente demanda ha puesto al descubierto un cuello de botella crítico en la electrónica, particularmente en los GPU, los escasos chips utilizados para entrenar y operar modelos de IA. El enfoque de Touchcast podría ser una forma innovadora de hacer un mejor uso de los recursos de computación y energía, dijo Segal.
La startup lanzó recientemente lo que llama tecnología de entrega de contenido caché cognitivo, que es similar a tener varios escritorios pequeños en diferentes partes de una gran biblioteca en lugar de un solo escritorio principal, haciendo más fácil acceder al material. La tecnología ayuda a mejorar el rendimiento del sistema de IA.
“Cuando los usuarios hacen la misma pregunta, recurren al modelo de lenguaje grande una y otra vez”, dijo Segal. En la era de la web impulsada por IA, “una nueva clase de infraestructura es crítica para entregar estas experiencias mágicas a escala de internet, de manera sostenible”.
Touchcast está trabajando con Microsoft para crear sistemas que aceleren y amplíen la distribución de consultas de IA generativa. Está desplegando la tecnología de caché cognitiva en los centros de datos de Azure de Microsoft, ayudando a ejecutar las herramientas de Azure OpenAI para atender a los clientes y reducir significativamente los costos.
“El crecimiento explosivo de la IA generativa está en camino de desbloquear trillones en valor económico”, dijo Segal, “pero su destino depende de resolver una escalada crisis de cómputo y energía”.
(c) 2024, Bloomberg