OpenAI reorganiza el equipo que define la ‘personalidad’ de ChatGPT

OpenAI ha iniciado una reorganización de sus equipos de investigación, incluyendo la integración del grupo responsable de la ‘personalidad’ de ChatGPT dentro de su estructura de Postentrenamiento. Además, lanza OAI Labs, un nuevo espacio dedicado a experimentar con formas novedosas de interacción entre personas y sistemas de inteligencia artificial.

Esta decisión estratégica subraya el enfoque de la compañía en perfeccionar la experiencia de usuario, abordando tanto el comportamiento de los modelos como la creación de nuevas herramientas colaborativas.

OpenAI integra el equipo de Comportamiento de Modelos en el área de Postentrenamiento

Hasta ahora, el equipo de Comportamiento de Modelos de OpenAI, conformado por 14 expertos, se encargó de supervisar cómo interactúan los sistemas de IA con los usuarios: desde el tono y la personalidad de las respuestas hasta la moderación de conductas dañinas y el equilibrio frente a posibles sesgos políticos.

Mark Chen, director de investigación en OpenAI, explicó que esta unidad pasa a quedar bajo la dirección de Max Schwarzer, responsable del equipo de Postentrenamiento, quien tiene la labor de depurar errores y mejorar las capacidades de los modelos después de su desarrollo inicial.

El propósito de esta integración es aprovechar mejor el conocimiento del equipo, haciendo que la influencia sobre la personalidad de la IA tenga más peso en la evolución de los modelos centrales.

Tal como destaca OpenAI, la finalidad es poner la personalidad de la IA en el centro de la evolución de sus tecnologías, lo que permitirá afinar la calidad y seguridad de las interacciones, evitando la adulación excesiva hacia el usuario y desincentivando respuestas que refuercen ideas poco saludables.

OAI Labs: el nuevo laboratorio de interfaces para IA y personas

A la par de esta reorganización, OpenAI impulsa la creación de OAI Labs, encabezado por Joanne Jang, fundadora original del equipo de Comportamiento de Modelos. Este nuevo núcleo de investigación estará dedicado a la invención y prototipado de interfaces innovadoras para la colaboración entre humanos e inteligencia artificial.

Según Jang en redes sociales, el proyecto busca “explorar patrones que lleven más allá del paradigma del chat o incluso de los agentes”, inspirándose en su propia experiencia dentro de la compañía con tecnologías como Dall-e 2 y GPT-4.

Jang considera la forma y el diseño de la interfaz como motor para “empujar los límites de lo que parece posible”. Su visión asume a los sistemas de inteligencia artificial como “instrumentos para pensar, crear, jugar, hacer, aprender y conectar”.

Así, OAI Labs se orienta a rediseñar la interacción hombre-máquina, trascendiendo las conversaciones convencionales y ampliando el potencial de la IA como aliada creativa y funcional en ámbitos diversos.

Este proceso de reorganización y expansión en OpenAI revela no solo la importancia estratégica que la compañía otorga a la ‘personalidad’ de sus modelos, sino también su apuesta por transformar continuamente la experiencia de interacción, manteniendo la ética, el control y la innovación en el centro del desarrollo.

Por qué la IA alucina: esta es la respuesta de OpenAI

Según el informe presentado por OpenAI, las llamadas alucinaciones en los sistemas de inteligencia artificial no responden a errores misteriosos, sino que se originan directamente en los métodos de entrenamiento empleados para desarrollar los modelos de lenguaje.

La compañía explica que las “presiones estadísticas” presentes en las fases de entrenamiento y evaluación provocan que los modelos tiendan a producir respuestas aunque exista incertidumbre en la información disponible.

El texto utiliza una comparación ilustrativa, señalando que la IA, ante una duda, prefiere arriesgarse por la opción que considera más probable, similar a un estudiante que responde una pregunta complicada en un examen sin estar seguro de la respuesta, con la esperanza de estar en lo correcto.

Durante el preentrenamiento, estos modelos aprenden a partir de una amplia variedad de textos, pero no cuentan con etiquetas que indiquen si una oración es “verdadera” o “falsa”, sino únicamente con ejemplos de uso válido del lenguaje. Como resultado, incluso si las fuentes de información son fiables, el proceso estadístico puede provocar errores y, sin una herramienta para identificar la incertidumbre, el modelo tiende a proporcionar siempre alguna respuesta.