Los empleados no están cuestionando lo suficiente los consejos de la IA

De HBR.org

A diferencia de los estudiantes de preparatoria que presentan un examen de matemáticas, los sistemas de IA de caja negra no están obligados a mostrar sus cálculos al responder preguntas de gran relevancia. Es posible que a algunos responsables de la toma de decisiones les guste que sea así, especialmente cuando están en juego su dinero y principios morales.

En un experimento de aprobación de préstamos asistido por IA, los participantes que actuaban como oficiales de crédito y revisaban solicitudes reales de préstamos de 10.000 dólares a menudo optaban por no saber por qué un sistema de IA señalaba a un solicitante como más riesgoso que otro, aunque la explicación podría haber revelado si la raza o el género influían en la decisión, según muestra una investigación del profesor adjunto de la Escuela de Negocios de Harvard, Alex Chan.

Los participantes eran más propensos a omitir las explicaciones cuando sus bonos dependían del pago del préstamo y optaban por seguir las recomendaciones del algoritmo en lugar de examinar si sus decisiones estaban sesgadas. Los hallazgos sugieren que las personas a menudo evitan activamente buscar información adicional porque saber más podría complicar su decisión o generar un malestar moral.

A medida que las empresas se apresuran a integrar la IA en diversos procesos de toma de decisiones --desde la contratación y la aprobación de créditos hasta los exámenes médicos y los procedimientos judiciales--, aumenta la presión para garantizar que esos sistemas sean justos, transparentes y confiables. Ese escrutinio ha impulsado un creciente interés en la "IA explicable", que se enfoca en mostrar a los usuarios el razonamiento detrás de las respuestas generadas por la IA en lugar de simplemente ofrecer respuestas.

Sin embargo, la investigación de Chan cuestiona una suposición común: que las personas, por naturaleza, desean más transparencia de los sistemas de IA. El documento de trabajo, "Preferencia por las explicaciones: el caso de la IA explicable", sugiere que la transparencia por sí sola no es suficiente y que los incentivos y el diseño organizacional determinan cuándo los responsables de la toma de decisiones interactúan con el razonamiento de la IA y cuándo optan por ignorarlo.

Para garantizar que las empresas que toman diversas decisiones de alto riesgo utilicen la IA explicable de manera responsable, Chan recomienda lo siguiente a los líderes empresariales:

Incorporen mecanismos de supervisión en los procesos de toma de decisiones de la IA. Los reguladores gubernamentales están reconociendo los riesgos de la IA. Chan señala que el Reglamento General de Protección de Datos y la Ley de Inteligencia Artificial de la Unión Europea exigen la divulgación de explicaciones para las decisiones algorítmicas significativas. En 2023, la Oficina de Protección Financiera del Consumidor de EE. UU. recordó a los prestamistas la obligación legal de proporcionar a los prestatarios razones "específicas" y "precisas" para las decisiones adversas asistidas por IA, como las denegaciones de crédito. El objetivo, dice Chan, no es solo exigir explicaciones, sino asegurarse de que las empresas realmente las estén utilizando para dar forma a sus decisiones.

Crear incentivos para que los empleados se involucren de manera crítica con la IA. Los requisitos de divulgación para la IA deben enfocarse en los que toman las decisiones profesionales e ir más allá de lo que Chan denomina "transparencia de casilla de selección", dado el comportamiento de los usuarios. Eso puede requerir que las organizaciones brinden capacitación y alineen los incentivos para que los gerentes y otros empleados puedan revisar, documentar y reflexionar sobre las explicaciones de la IA, en lugar de simplemente tener acceso a ellas.

"La idea clave", dice Chan, "es que la explicabilidad no puede dejarse enteramente a la elección individual cuando los incentivos individuales apuntan hacia una ceguera deliberada".

No olvides valorar el juicio humano. Para los gerentes, el estudio destaca una preocupación emergente en la implementación de la IA: la posibilidad de devaluar inadvertidamente el juicio humano. Eso significa que deben alentar a los empleados a cuestionar las recomendaciones de la IA, por ejemplo.

"El mayor riesgo de la IA no son solo las respuestas erróneas o la falta de adopción", dice Chan. "Es enseñar a las personas a dejar de preguntarse por qué".

Los empleados no están cuestionando lo suficiente los consejos de la IA -- (Tony Cenicola/The New York Times)