El agente Operator de OpenAI tiene capacidades humanas para navegar y ejecutar tareas en internet

OpenAI ha presentado la versión preliminar de Operator, un agente que combina las capacidades del modelo GPT-4o con un razonamiento avanzado a través del aprendizaje y puede interactuar con interfaces gráficas de usuario (GUI, por sus siglas en inglés) para navegar por internet de forma autónoma, como si se tratara de un humano.

Esta herramienta funciona con un nuevo modelo denominado Computer-Using Agent (CUA) y se basa "en años de investigación fundamental en la intersección entre la comprensión y el razonamiento multimodal", según ha explicado la desarrolladora en un comunicado.

Al combinar la percepción avanzada de la interfaz gráfica de usuario con la resolución de problemas, este CUA es capaz de dividir las tareas para ejecutarlas en varios pasos, adaptarse de forma dinámica cuando surgen cambios inesperados y autocorregirse si ejecuta alguna acción de forma incorrecta.

Más concretamente, el modelo, que combina GPT-4o con un razonamiento avanzado, procesa datos de los píxeles de la pantalla para comprender lo que sucede en ella y utiliza un ratón y un teclado virtual para completar las acciones de forma autónoma, con acciones como hacer clic, desplazarse o escribir.

De este modo, puede actuar con capacidades humanas en una amplia gama de entornos digitales, interactuar con botones, menús y campos de texto (GUI), realizar tareas como complementar formularios y navegar por sitios web sin necesidad de interfaces de programación de aplicaciones (API) especializadas.

No obstante, la compañía tecnológica ha señalado que aunque este modelo maneja la mayoría de los pasos de forma automática, busca la confirmación del usuario para acciones snesibles. Por ejemplo, ingresar datos de inicio de sesión, responder formularios CAPTCHA o ejecutar una transacción bancaria.

Debido a estas capacidades, OpenAI ha señalado que su nuevo trabajo "marca el siguiente paso en el desarrollo de la IA, debido a que permite que los modelos utilicen las mismas herramientas de las que dependen los humanos a diario y abre la puerta a una amplia gama de nuevas aplicaciones".

CUA aún se encuentra en una etapa temprana de desarrollo y tiene algunas limitaciones. Asimismo, está avalado por WebArena y WebVoyager, logrando una tasa de éxito del 58,1 por ciento en la primera y un 87 por ciento en la segunda.

Por otra parte, OpenAI ha señalado que OSWorld, un punto de referencia que evalúa la capacidad de los modelos para controlar sistemas operativos completos, como Ubuntu, Windows y macOS, le ha otorgado una tasa de éxito del 38,1 por ciento. No obstante, la compañía ha observado un escalamiento en tiempo de prueba. lo que quiere decir que el rendimiento de modelo mejora cuando debe ejecutar más pasos o acciones.

La firma también ha subrayado que CUA se ha desarrollado con la seguridad como máxima prioridad para abordar los desafíos que plantea el acceso de un agente al mundo real. De esta manera, está entrenado para rechazar tareas dañinas y actividades ilegales o irregulares.

Tampoco puede acceder a sitios web que la propia OpenAI ha bloqueado de forma preventiva, como webs de contenidos para adultos o juegos de azar, y es capaz de identificar actividades fraudulentas. De ese modo, monitoriza la actividad y pausa la ejecución de una acción si detecta contenido sospechoso en el panel.

Por el momento, este agente se está implementando a través de una vista previa de investigación a través de operator.chatgpt.com y ya tienen acceso a él los suscriptores del nivel Pro en Estados Unidos. Próximamente, planea llevarlo a usuarios de Plus, Team y Enterprise, así como integrar sus capacidades en ChatGPT.