Herramientas de IA para contrataciones pueden generar sesgos raciales y rechazo sistemático

Un estudio encabezado por Stanford halló que los sistemas de inteligencia artificial usados para filtrar candidatos en procesos de contratación generan sesgos raciales y favorecen el rechazo repetido de los mismos postulantes en distintas empresas, un resultado que cobra peso en un mercado laboral de entrada más duro y con un uso masivo de estas herramientas, según el artículo difundido.

La investigación siguió a 3,4 millones de personas que presentaron 4 millones de postulaciones para 1.700 avisos laborales en 150 empleadores y 11 sectores, de acuerdo con Stanford University.

El trabajo aplicó la regla de los cuatro quintos de la Comisión para la Igualdad de Oportunidades en el Empleo de Estados Unidos, que identifica un posible perjuicio cuando un grupo es recomendado a una tasa inferior al 80% del grupo más favorecido.

Con estos criterios, el 26% de los postulantes afrodescendientes y 15% de los asiáticos se presentaron a puestos en los que el sistema discriminó a su grupo racial, y si ambos hubieran sido recomendados al mismo ritmo que el grupo más beneficiado, por lo general solicitantes blancos, 40.000 postulaciones más habrían avanzado a la siguiente etapa.

La pregunta central del estudio tuvo una respuesta concreta: cuando un mismo proveedor concentra el filtrado de múltiples empresas, los efectos de su modelo no quedan limitados a una sola vacante. Según la Stanford University, eso aumenta la posibilidad de que una persona quede excluida de manera consistente en todos los puestos a los que se presenta.

Cuándo aparece el sesgo en la evaluación

La investigación, titulada “Algorithmic Monocultures in Hiring”, fue elaborada por académicos de Stanford University, Chapman University y Northeastern University, y será presentada en la conferencia ACM sobre equidad, rendición de cuentas y transparencia en Montreal, según la revista Fortune.

Todas las postulaciones del conjunto principal fueron evaluadas por una herramienta de contratación creada por un único proveedor externo: Pymetrics.

Ese punto es decisivo porque, según Stanford University, si se agrupan todas las recomendaciones del proveedor como si fueran un único proceso de selección, el perjuicio no aparece. Cuando cada puesto se analiza por separado, como suele exigir la evaluación jurídica de discriminación laboral en Estados Unidos, sí surge el problema.

Los autores sostuvieron que agregar datos de múltiples cargos u ocupaciones “basta para ocultar el efecto adverso por puesto”, una práctica que calificaron como una interpretación “incorrecta, o como mínimo incompleta” de la orientación federal.

Kathleen Creel, profesora de Northeastern University y coautora del estudio, dijo al Financial Times: “A medida que un solo proveedor pasa a dominar la toma de decisiones en un espacio, sus peculiaridades o deficiencias pueden estar presentes en todo ese sector de una manera que antes no era posible”.

Un mismo puntaje puede cerrar puertas en varias empresas simultáneamente

El segundo hallazgo se concentró en lo que los investigadores llaman rechazo sistémico. Según la Stanford University, las personas que envían varias postulaciones a puestos evaluados por el mismo proveedor algorítmico tienen más probabilidades de ser rechazadas en todos ellos que si cada empresa decidiera de forma estadísticamente independiente.

Este análisis indicó también que 10% de los solicitantes que presentaron cuatro postulaciones fue rechazado en todos los lugares a los que aplicó. Fortune añadió que, entre quienes se postularon a 10 posiciones evaluadas por Pymetrics, 4% recibió rechazo en todas, una tasa superior a la que cabría esperar por azar si las compañías actuaran sin relación entre sí.

La explicación técnica está en la reutilización de la misma evaluación. Según Fortune, Pymetrics no filtra candidatos por currículum, sino mediante juegos en línea que miden rasgos cognitivos como tolerancia al riesgo, velocidad de procesamiento y altruismo, y los puntajes obtenidos pueden almacenarse y reutilizarse durante hasta 330 días.

Eso implica que, si dos empresas usan Pymetrics, un mismo postulante puede enfrentar en ambas el mismo resultado algorítmico. Los investigadores describieron ese patrón como un “veto algorítmico”, una idea antes planteada en la literatura académica pero no documentada a esta escala con datos reales de uso.

Para medir hasta dónde llegaba ese efecto, el equipo pidió a Pymetrics que ejecutara sus modelos sobre una muestra de 1.000 aspirantes frente a todos los puestos aplicables del conjunto de datos, según Fortune.

Ninguna persona fue rechazada por todos los modelos, pero para reducir la probabilidad de quedar excluida de forma sistémica por debajo de 0,1%, un candidato tendría que postularse al menos a 25 vacantes, más del doble de las 10 que bastarían si las decisiones fueran independientes.

Concentración del mercado amplifica el problema regulatorio

La revisión de Stanford University sostuvo que las herramientas de filtrado por IA combinan tres rasgos que no deberían coexistir en decisiones de alto impacto: adopción extendida, consecuencias relevantes y opacidad para el público.

Ese diagnóstico se produce cuando 90% de los empleadores de Estados Unidos usa sistemas de IA para ordenar y clasificar aspirantes, con una fuerte dependencia de unos pocos proveedores, según esa universidad.

El estudio también comparó estos resultados con el mayor análisis previo de decisiones de contratación, que envió 83.000 postulaciones a 108 firmas de la lista Fortune 500 durante el mismo período, sin centrarse en si se utilizaba IA. En ese conjunto, la tasa de rechazos totales no fue superior a la esperable si cada empresa decidía por su cuenta.

Fortune agregó que, en mayo de 2023, más de 60% de las empresas del Fortune 100 y ocho de las 10 mayores agencias federales de Estados Unidos usaban algoritmos de la empresa de inteligencia artificial HireVue.

Por su parte, los autores advirtieron que esa concentración no solo puede extender sesgos, sino también generar una vulnerabilidad sistémica si un proveedor dominante deja de funcionar o produce resultados discriminatorios.

En el plano normativo, el informe de Fortune señaló que la ciudad de Nueva York aprobó en 2021 la Local Law 144, la primera norma dirigida de forma directa a la contratación algorítmica, pero los autores sostienen que su guía oficial actual parece indicar a los auditores que agrupen datos entre puestos y empleadores, lo cual oculta las disparidades.

En Europa, la Ley de IA de la Unión Europea clasifica por defecto los algoritmos de contratación como sistemas de alto riesgo y sus exigencias de cumplimiento entrarán en vigor el 2 de agosto de 2026.

Los investigadores propusieron cuatro medidas:

1. Evaluar el efecto adverso a nivel de cada puesto.
2. Reforzar la vigilancia del mercado entre empleadores.
3. Seguir los riesgos derivados de la concentración algorítmica.
4. Abrir vías legales para que equipos independientes accedan a datos de contratación.

Por último, la Stanford University concluyó que sin investigación independiente será difícil construir políticas públicas basadas en pruebas para regular el impacto de la IA sobre las posibilidades de empleo de las personas y sobre la composición general de la fuerza laboral.