Opacidad algorítmica e implicancias bioéticas

La creciente dependencia de algoritmos en sectores como salud y justicia para tomar decisiones críticas plantea serias cuestiones éticas. Y ello es porque, frecuentemente, estos algoritmos operan como “cajas negras” generando desconfianza y falta de rendición de cuentas, vulnerando derechos individuales y principios bioéticos.

Uno de estos principios es el de autonomía del cual se deriva el derecho a tomar decisiones informadas sobre la propia vida. Dos estudios publicados en The New England Journal of Medicine en 2016 y 2018, destacan cómo los sistemas de IA en diagnóstico médico comenzaron a sustituir el proceso de toma decisiones en contextos críticos, con poca explicación sobre el procesamiento de datos, origen de estos y sus resultados. Allí se demuestra que la falta de transparencia algorítmica erosiona la confianza en el sistema de salud, limitando no sólo la capacidad del médico para entender el procedimiento sino de los pacientes para dar un consentimiento verdaderamente informado, socavando aquel principio fundamental. Por ejemplo, el sistema IBM Watson for Oncology, proporcionaba recomendaciones basadas en datos limitados y no siempre actualizados, cometiendo errores respecto de las sugerencias de tratamiento para ciertos tipos de cáncer. Pacientes y médicos carecían de la claridad necesaria y suficiente respecto del método por el cual se generaban estas recomendaciones, afectando negativamente la capacidad de los pacientes para ejercer su autonomía.

Otro principio vulnerado es el de justicia, del cual deriva el deber de distribuir equitativamente los recursos, beneficios y riesgos. Los algoritmos opacos a menudo perpetúan sesgos estructurales, reforzando las desigualdades. En 2019, el algoritmo de salud diseñado por Optum y utilizado en Estados Unidos para identificar a pacientes con mayores necesidades de atención médica y predecir sus necesidades, presentaba un sesgo racial discriminando a pacientes afroamericanos. El algoritmo basaba sus decisiones en los costos previos de atención médica, y dado que los pacientes afroamericanos habían recibido comparativamente menor atención, sus costos de salud eran menores. Así, el algoritmo subestimaba las necesidades de los pacientes afroamericanos asignándoles sistemáticamente menor prioridad en condiciones de salud similares a los pacientes blancos, reduciendo la equidad en la atención médica.

La opacidad algorítmica también infringe el principio de no maleficencia, por el cual se exige que los desarrolladores de algoritmos no causen daño a los individuos. La opacidad algorítmica dificulta identificar y corregir errores, perjudicando las decisiones de los usuarios. Karandeep Singh, Alistair Johnson y Marzyeh Ghassemi revelaron no sólo estas frecuentes fallas sino también la grave carencia de respuestas al demandar explicaciones claras cuando las recomendaciones son incorrectas, conllevando un serio riesgo de cometer errores médicos que comprometen la salud de los pacientes amenazando su seguridad.

Ahora bien, definiendo la transparencia algorítmica como el acceso a información que permite monitorear las decisiones de un sistema algorítmico, esta tiene dos aspectos: la transparencia de los resultados y la del proceso. La transparencia de resultados implica comunicar claramente los efectos de las decisiones algorítmicas, permitiendo a los usuarios comprender cómo afectan sus casos. Para ello, es esencial ofrecer interfaces comprensibles que traduzcan los resultados técnicos en información útil. La transparencia del proceso refiere a explicar cómo se diseña, desarrolla y entrena el sistema, incluyendo la lógica de sus cálculos y el origen de los datos. Esto ayuda a evaluar el cumplimiento de principios éticos, detectando posibles sesgos y facilitando auditorías independientes que regulen el uso de datos. La transparencia de resultados empodera a los usuarios, mientras que la del proceso permite a expertos verificar su adecuación bioética y legal, promoviendo un uso responsable de los algoritmos que respete los derechos vigentes.

Por eso, la transparencia algorítmica no sólo requiere la divulgación del uso de estos sistemas, sino también una comunicación efectiva que contemple el tipo de información, el canal y el público. Esto es vital en sectores críticos como la salud donde un error algorítmico impacta tanto en el paciente como en políticas de recursos y tratamientos. La bibliografía actual sugiere que la transparencia debe adaptarse al contexto, ya que no todas las audiencias requieren el mismo nivel de detalle, pero siempre debe proporcionarse información relevante, como criterios y márgenes de error, garantizando que las decisiones algorítmicas tengan sustento verificable, evitando comprometer principios bioéticos y deontológicos.

Esto se conoce como el criterio de explicabilidad, buscando desarrollar sistemas de IA cuyos resultados sean fácilmente comprensibles e interpretables, evitando graves riesgos y aumentando la confianza del usuario. Esta explicabilidad, debería categorizarse en cuatro áreas de comprensibilidad 1) Analizar la contribución de cada característica en las decisiones del modelo y su influencia en la predicción; 2) Explicar el comportamiento del modelo en conjunto; 3) Explicar cómo el algoritmo usa o aplica conceptos humanos; y 4) Explicar cómo modelos simples se implementan aproximando modelos complejos.

Estos cuatro lineamientos permitirán a los profesionales de la salud comprender qué factores específicos, como síntomas o resultados de pruebas, contribuyen a un diagnóstico particular. Proporcionará también una visión del modelo completo en lugar de centrarse en un solo caso, identificando patrones en subgrupos específicos, útil para estudios poblacionales en salud o para comprender tendencias en grandes conjuntos de datos clínicos. Ayudará además a identificar patrones clínicos complejos como la sensibilidad de ciertas características en diagnósticos específicos. Hará más comprensible los árboles de decisión. Se podrán identificar regiones específicas en imágenes médicas como radiografías, ecografías o tomografías, que son relevantes para la decisión del modelo, permitiendo a los médicos validar visualmente los resultados. Por último, facilitará al mismo tiempo la comprensión y comunicación a usuarios no expertos y pacientes fomentando la confianza y su adopción en entornos médicos.

Todo ello, facilitado mediante portales de transparencia o informes, adaptando la información para los diversos usuarios. Además, se recomienda auditorías externas que accedan a los aspectos técnicos de los algoritmos para verificar su alineación con criterios bioéticos y legales, sin revelar información técnica compleja que el público podría malinterpretar, ni comprometer la propiedad intelectual. Nicholas Diakopoulos compara esta transparencia con la inspección de restaurantes, en la que los expertos evalúan prácticas de higiene y manipulación de alimentos acorde a la normativa vigente para la actividad gastronómica, sin por ello exigir revelar las recetas del menú. Igualmente, en la IA, se sugiere que los expertos puedan comprender la lógica de decisión de los algoritmos sin que se revele su código. Este enfoque busca promover la confianza en la IA, creando un marco de responsabilidades y asegurando una rendición de cuentas sin comprometer la competitividad.

Para evitar los perjuicios y riesgos mencionados, es crucial que los sistemas algorítmicos sean diseñados bajo un marco normativo con criterios claros de explicabilidad, responsabilidad y rendición de cuentas, todo lo cual tiene como base la transparencia. Ello coadyuva a un enfoque de intervención humana tan significativa como esencial, demandando que los sistemas no deben ser la autoridad en la toma de decisiones críticas. Los humanos deben poder supervisar, cuestionar y revocar las decisiones algorítmicas cuando sea necesario. Y esto implica además una normativa para la divulgación de modelos, procesos y datos utilizados, estableciendo comités de expertos en ética, IA y derecho, para asegurar que los algoritmos respeten principios bioéticos y derechos, como el de privacidad y no discriminación. Resulta fundamental establecer sistemas de responsabilidad algorítmica, donde sus desarrolladores y operadores puedan ser responsabilizados acorde a lo que les corresponda, por resultados y más aún por decisiones incorrectas.