Que un algoritmo secreto no decida quién muere: Cathy O’Neil

(Bloomberg) -- He escrito extensamente sobre los peligros que surgen cuando las autoridades confían en algoritmos inescrutables para tomar decisiones importantes, evitando las conversaciones públicas. Con demasiada frecuencia, sus modelos estadísticamente descuidados terminan costando vidas y medios de vida.

Lamentablemente, esto parece ser precisamente lo que sucederá con el modelo para la COVID-19 de la administración Trump.

El gobernador de Arizona, Doug Ducey, anunció planes para permitir que las empresas comiencen a reabrir esta semana después de consultar el nuevo modelo de predicción de pandemia de la Agencia Federal para el Manejo de Emergencias, que no ha sido revelado al público. La medida fue sorprendente porque un equipo de expertos universitarios, que había desarrollado su propio modelo en nombre del estado, había aconsejado esperar hasta finales de mayo, a fin de evitar que el sistema hospitalario se viera abrumado.

En mi libro, “Armas de destrucción matemática”, identifico tres propiedades que hacen que un algoritmo predictivo sea particularmente peligroso: debe ser importante, secreto y destructivo. El nuevo modelo de la FEMA las tiene a todas. Si puede persuadir a un gobernador de levantar las órdenes de quedarse en casa en medio de una pandemia, es importante. Al momento de escribir este artículo, sus detalles siguen siendo un secreto. Y si bien lo que sucederá en Arizona está por verse, tiene el potencial de destruir muchas vidas al justificar malas decisiones.

Tales modelos no surgen accidentalmente. Aparecen cuando la gente quiere evitar una conversación difícil, especialmente una que involucra una lucha histórica, dinero y decisiones complejas. Los ejemplos ilustrativos incluyen un modelo que evaluó a los maestros de escuelas públicas y los algoritmos de “puntaje de riesgo de crimen” que deciden, entre otras cosas, quién es encarcelado antes del juicio. Ambas eran vergüenzas estadísticas profundamente defectuosas destinadas a evitar problemas difíciles, como qué hace un buen maestro y quién merece encarcelamiento. Sin embargo, los gobiernos y las empresas siguen utilizando modelos de caja negra porque las personas, por temor a las matemáticas o la falta de información, rara vez los desafían.

Si alguna vez hubo un tema que requirió una conversación pública difícil, es la respuesta a la COVID-19. ¿Cuántas personas estamos dispuestos a dejar morir para que las empresas sigan funcionando? ¿Y a qué personas dejaremos morir? Al crear un modelo secreto para informar tales decisiones, el gobierno de Trump elimina estas preguntas de las esferas pública y científica, reemplazando el debate ético basado en datos con una herramienta política pseudo matemática. Estas son malas noticias para la ciencia y una noticia potencialmente terrible para los residentes de Arizona.

Nota Original:Don’t Let a Secret Algorithm Decide Who Will Die: Cathy O’Neil

©2020 Bloomberg L.P.