La gestión del desempeño necesita nuevas métricas en la era de la IA

De HBR.org

¿Cómo se define un "buen desempeño" cuando los resultados los generan personas que trabajan con inteligencia artificial? ¿Y cómo pueden los líderes asegurarse de que la velocidad y la eficiencia no se logren a costa del criterio y la rendición de cuentas?

Con base en nuestra investigación en curso y experiencia trabajando con empresas, presentamos un marco de medición de tres niveles que desglosa el desempeño de la persona, los sistemas y agentes de IA, así como el resultado combinado de la colaboración entre humanos e IA:

1) Métricas de contribución humana

¿Qué tan confiable es que alguien detecte cuándo la IA supera sus límites? ¿Qué se hace a continuación? Las posibles medidas son:

-- Tasa de precisión de escalamiento: Una escalación se clasifica como "justificada" si una auditoría posterior confirma que el resultado de la IA era de hecho erróneo, incompleto o estaba fuera del ámbito de competencia confiable de la IA.

-- Calificación de trazabilidad de la fuente: ¿Están documentados de manera transparente la fuente de datos, la fecha de creación y el modelo que se utilizó? El tamaño de la muestra debe definirse de antemano (por ejemplo, el 20 por ciento de todos los entregables por trimestre).

-- Índice de calidad de las modificaciones: Una corrección se considera "justificada" si el empleado ha dejado una explicación documentada (error en el resultado, datos desactualizados, falta de contexto, etc.). Las correcciones injustificadas restan puntos a la valoración.

2) Métricas del sistema de IA y del agente

¿El agente de IA realmente hizo lo que se suponía que debía hacer dentro de los parámetros que se le asignaron? Para comprender el logro de los objetivos, las siguientes medidas pueden ser útiles:

-- Tasa de finalización de tareas: Una tarea se considera "completada con éxito" si el resultado cumple con los criterios de aceptación predefinidos sin requerir corrección humana ni reenvío. Se registra por agente, tipo de tarea y a lo largo del tiempo para detectar desviaciones en el desempeño.

-- Tasa de error: Los errores deben clasificarse por gravedad (crítico/moderado/menor) y registrarse indicando la causa. Una tasa de error general baja que oculte una alta tasa de errores críticos es una señal de riesgo significativa y debe informarse por separado.

-- Índice de desviación de objetivos: Particularmente relevante para sistemas basados en agentes que operan en múltiples pasos. Señala los casos en los que el agente se optimizó para un indicador medible en lugar del resultado previsto.

3) Métricas del sistema humano-IA

Por último, se debe medir si la combinación de humanos e IA produce mejores resultados que cualquiera de los dos por separado. Por muy importante que sea esta distinción, es igualmente difícil de medir, ya que requiere una gran cantidad de datos. Para captar esta colaboración relevante, sugerimos las siguientes métricas si las organizaciones cuentan con los recursos:

-- Tasa de sustitución de la IA: Registra la proporción de trabajo en la que los humanos han quedado efectivamente fuera del proceso. Un aumento de la tasa de sustitución de la IA (ASR) no es intrínsecamente problemático, pero cuando se combina con una disminución de la calidad de los resultados o un aumento de las tasas de error, indica que la creación de valor se ha convertido en erosión de valor.

-- Índice de complementariedad: mide la proporción de casos en los que la participación humana marcó una diferencia demostrable, como detectar un error, replantear un problema o aportar un juicio contextual. Una puntuación alta indica una complementariedad genuina, en lugar de una mera formalidad. Una puntuación baja puede indicar ya sea un agente muy competente o un ser humano desmotivado; esos dos casos requieren respuestas muy diferentes

-- Índice de atribución de valor: Esto requiere desglosar el valor total de la producción en la parte atribuible a la ejecución de la IA frente a la del juicio, la curación o la corrección de humanos. Requiere una metodología exigente, pero es estratégicamente importante: a medida que aumente la capacidad de la IA, este índice cambiará. Su seguimiento a lo largo del tiempo revelará si la organización está invirtiendo en las capacidades humanas adecuadas o si las está vaciando de contenido de manera gradual.