“No debí hacer eso”: ¿Cuándo fue la última vez que dudaste de lo que te decía tu celular?

¿El GPS puede equivocarse? Por supuesto que sí, aunque ni se te ocurra pensarlo. Como cada lunes, nos encontramos en “No debí hacer eso”, un espacio donde abrimos la cocina de nuestras decisiones para conocer las razones detrás de cada una de ellas, aprender cuáles nos limitan y qué hacer para mejorarlas.

Hoy vamos a hablar del sesgo de automatización o automation bias, que es la tendencia a confiar demasiado en los sistemas automatizados y la tecnología, incluso cuando hay evidencia de que podrían estar funcionando mal. Un ejemplo perfecto es el mapa del celular: ponés una dirección y te hace doblar en una calle que es contramano. No es lo más común, pero a veces pasa.

Hay un capítulo excelente en The Office en el que toda la oficina empieza a competir contra las ventas online de la empresa. Michael Scott, el jefe, por supuesto, se lo toma más personal que nadie y convierte todo en una especie de batalla: “el hombre” contra la máquina. Cuando va perdiendo esa batalla simbólica, se entrega por completo a la máquina y, volviendo de una venta fallida, obedece al GPS, dobla 50 metros antes de un puente y se mete de lleno dentro de un lago.

Uno podría decir “esto solo le pasa a Michael Scott”, pero este tipo de accidentes por automatización ocurre en la realidad.

De hecho, el 15 de marzo de 2012, un grupo de turistas japoneses en Australia alquiló un auto para ir a conocer la isla de Stradbroke, que queda a 950 km de Sídney. Alquilaron un Hyundai Getz y, confiados en que la máquina los iba a guiar bien, se metieron de lleno en un lago. Terminaron siendo rescatados y abandonando el vehículo. Habían llegado a recorrer ¡500 metros dentro del lago! Medio kilómetro de automatización.

Si esto empezó a pasar cada vez más con la aparición de internet, los riesgos de “automatizar” nuestra toma de decisiones son aún mayores con la inteligencia artificial. ¿Por qué? Porque buena parte de la inteligencia artificial accesible al público, como ChatGPT, al menos hasta ahora, es un sistema que aprende con lo que ya pasó, aprende por repetición.

Tomar decisiones basadas en lo que ya pasó a veces es muy útil, pero no siempre, porque reduce nuestra apertura a lo nuevo. El problema en este sesgo no está en la tecnología, sino en nuestra disposición a suspender nuestro criterio y reemplazarlo directamente por el de la máquina. Asumir que es infalible sin corroborarlo con nuestra experiencia o conocimiento es un grave error.

El ejemplo más claro y absurdo de esto es diagnosticarse con Google. Todos sabemos que no deberíamos hacerlo, pero si en lugar de ir a un médico cargamos los síntomas en el buscador, el diagnóstico para un dolor de cabeza puede ser una enfermedad terminal.

Entonces, ¿por qué nos pasa esto? Primero, porque creemos que la tecnología es precisa y objetiva. Decimos: “Es una máquina, no se equivoca”. Esto hace que muchas veces le demos más valor a lo que nos dice un sistema automatizado que a lo que sabemos por experiencia o sentimos. Por ejemplo, si la aplicación del clima de tu celular dice que va a llover, pero te asomás por la ventana y no ves ni una nube, igual capaz agarrás el paraguas por las dudas.

En segundo lugar, porque nos ahorramos esfuerzo mental. Confiar en la tecnología es más fácil. Nos alivia el trabajo de pensar o analizar demasiado, sobre todo en situaciones donde hay mucha información o la tarea es complicada. Si el sistema ya te da una respuesta, ¿para qué gastar tiempo en cuestionarla? Es como usar la calculadora: si te da un resultado, es raro que lo vuelvas a chequear.

Y tercero, la costumbre nos juega en contra. Estamos tan acostumbrados a que las máquinas “funcionen bien” que las seguimos de manera casi automática.

Si un sistema siempre acierta, cuando falla no lo notamos o no le prestamos atención. Es como cuando no suena la alarma del celular: capaz, nunca sonó o se quedó sin batería, pero del primero que sospechás es de vos y pensás “seguro la apagué dormido”.

Confiar en los sistemas automáticos tiene mucho sentido. La verdad es que no fallan casi nunca… pero ese “casi” puede salir carísimo. El primero de agosto de 2012 no fue un día más en Wall Street, y mucho menos para Knight Capital, una de las empresas más activas de ese momento. Era una de las empresas más grandes de trading en la Bolsa de Nueva York y estaba lista para lanzar un nuevo software que prometía revolucionar el negocio.

Este programa automatizado estaba diseñado para ejecutar órdenes de compra y venta de acciones en milisegundos. Pero lo que parecía un golazo terminó siendo una catástrofe.

Ese primero de agosto, apenas activaron el nuevo sistema, las cosas empezaron a descontrolarse. En lugar de operar como estaba previsto, el software comenzó a ejecutar órdenes masivas de compra y venta sin sentido. En solo unos minutos, Knight Capital estaba comprando acciones a precios inflados y vendiéndolas a precios ridículamente bajos, perdiendo millones con cada transacción.

El problema no era evidente al principio. Los operadores de la empresa confiaban plenamente en su sistema automatizado, como si fuese infalible. Pero en menos de una hora quedó claro que algo estaba muy mal. La actividad de Knight Capital era muy alta. Demasiado alta. Estaba comprando y vendiendo demasiadas acciones, a una velocidad muy por encima de su ritmo habitual y, sobre todo, muy por encima de toda lógica financiera.

Así estuvo 45 minutos, trabajando a un ritmo frenético, hasta que vieron el error y detuvieron las transacciones. Pero ya era tarde. En menos de una hora, Knight Capital perdió 440 millones de dólares. Esto a su vez golpeó las acciones de la empresa, que cayeron alrededor del 75 %.

Ese mismo día, Knight tuvo que salir a buscar un rescate financiero para no ir a la quiebra. Varios inversores inyectaron dinero para salvarla, pero el daño ya estaba hecho. La confianza en la empresa se evaporó y, un año después, en 2013, Knight Capital fue absorbida por una firma rival.

Después se hizo la autopsia correspondiente al caso y se encontró la falla que detonó todo. Obviamente, el problema no fue usar tecnología. La empresa ya venía usando un software similar. El problema fue que, al actualizarlo, no hicieron las pruebas correspondientes. En resumen, se confiaron demasiado.

Para evitar que este sesgo te dé problemas, acá van tres tips:

1. No confíes ciegamente en la tecnología. Apoyate en tu intuición y experiencia. La tecnología es una herramienta, no una autoridad absoluta. Si algo te parece raro, revisalo.
2. Entendé lo que estás usando. Cuanto más entiendas sobre cómo funciona lo que usás, más fácil es detectar si algo anda mal.
3. Siempre supervisá. Aunque uses sistemas automatizados, asegurate de tener un control humano, especialmente en situaciones críticas como operaciones financieras o diagnósticos médicos.

*Emmanuel Ferrario es docente universitario de economía del comportamiento, autor del libro “Coordenadas para antisistemas” y legislador de la Ciudad de Buenos Aires.