¿Cuánto tiempo dedican tus empleados a supervisar bots?

De HBR.org

El costo oculto de la IA no es solo el tiempo. También es el desgaste mental que implica revisar, corregir y estabilizar constantemente un sistema antes de que su trabajo pueda utilizarse.

Cierta supervisión de los bots es inevitable, e incluso beneficiosa. Pero la mayor parte de lo que reportan los trabajadores es tedioso y rutinario. Cada vez que los empleados sobrecargan un modelo con contexto, vuelven a ejecutar una tarea o transfieren el trabajo a un modelo más costoso solo para poder obtener algo utilizable, las organizaciones están pagando dos veces: una por la potencia de procesamiento informático adicional que se consume y otra por el trabajo manual necesario para guiar la herramienta hacia un resultado útil.

Los tres errores de cálculo de los líderes

Lo que parece ser un problema de productividad individual es, en realidad, un problema de diseño organizacional --uno que se deriva de tres errores de cálculo que cometen los líderes.

Subestimar la cantidad de gestión que requiere la IA

Los líderes no suelen ver ni tomar en cuenta el trabajo humano necesario para que la IA sea útil, lo cual implica aportar el contexto que falta, verificar la precisión, corregir respuestas a medias y suavizar las cosas cuando la herramienta malinterpreta la relación, lo que está en juego o el tono.

Para abordar este problema, comienza por evaluar cuánto tiempo dedican los trabajadores a supervisar a los bots. Luego pregúntate: ¿Esta supervisión está generando valor o es mera evidencia de que la herramienta no está lista para el trabajo? También puedes reducir la supervisión innecesaria al integrar la IA directamente en el flujo de trabajo. Cada herramienta de IA independiente crea otra interfaz que los empleados deben aprender a usar, en la que deben iniciar sesión, alternar con otras y a la que deben proporcionar contexto.

Confundir el acceso a los datos con un contexto útil

Las organizaciones deben tratar el contexto como infraestructura, no como algo que los empleados introducen manualmente en las herramientas de IA. Es útil que los desarrolladores de IA trabajen junto a expertos en el tema que sepan dónde falla el proceso oficial y cómo se ve lo "correcto" en la práctica.

Las organizaciones también deben invertir en una capa de contexto, una infraestructura que capture cómo se realiza el trabajo, no solo lo que está escrito. Esto incluye en qué versión de un documento confía la gente, qué gerente da el visto bueno antes de que algo se lance, quién se convirtió en la autoridad después de que el responsable original se fuera y quién conoce la diferencia entre lo que describen las pautas de precios y lo que aprobará el departamento de conformidad o cumplimiento normativo. Nuestra investigación muestra que este metaconocimiento es una parte crucial de lo que hace que las organizaciones funcionen; sin embargo, suele estar ausente en la mayoría de las herramientas porque a menudo está implícito --lo que significa que reside en las personas y las relaciones-- en lugar de estar claramente documentado y codificado.

-- Medir lo incorrecto

Demasiadas organizaciones se aferran a lo que un ejecutivo de una empresa de la lista Fortune 100 con quien hablamos denominó "métricas de vanidad": cifras fáciles de contar, como clics, tokens consumidos o licencias implementadas. La Ley de Goodhart (cuando una medida se convierte en un objetivo, deja de ser una buena medida) sigue vigente en la adopción de la IA. Para contrarrestarla, comienza a medir en múltiples dimensiones, incluida la calidad. En nuestra encuesta, el 83 por ciento de los trabajadores afirmó que la IA mejoraba su trabajo cuando su organización monitoreaba la calidad junto con la productividad, frente al 68 por ciento en los casos en que solo se monitoreaba la productividad. Una organización que estudiamos evalúa la IA en tres ejes (eficiencia, calidad y experiencia de los empleados) para evitar dar luz verde a una ganancia de eficiencia que agote a los empleados o degrade la experiencia del cliente.

Las organizaciones también deberían desarrollar métricas en torno a los costos de supervisión de los bots, como por ejemplo la frecuencia con la que los resultados necesitan revisión humana, cuántos intentos de instrucciones o "prompts" se requieren para obtener algo útil y cuánto tiempo dedican los empleados a verificar respuestas o a ajustar el contexto entre herramientas. Además, los empleados necesitan suficiente seguridad psicológica para reportar fallas de la IA. Si los líderes le dan demasiada importancia al recuento de tokens y a las rachas de inicio de sesión, no deberían sorprenderse cuando los empleados dejen de señalar los resultados erróneos.