El sesgo algorítmicoCuando los sistemas de aprendizaje automático producen resultados que reflejan o refuerzan los sesgos socioeconómicos, raciales y de género existentes en sus datos de entrenamiento. en la contratación ya no es un problema hipotético de derechos civiles. SHRM informó que el 26 % de las organizaciones encuestadas usaban inteligencia artificial para apoyar actividades de recursos humanos en 2024, y que, entre las organizaciones que usaban inteligencia artificial para reclutar, entrevistar o contratar, cerca de un tercio la usaba para revisar o filtrar currículums[s]. Mi postura es simple: los empleadores no deberían usar filtros automatizados de currículums a menos que puedan demostrar, antes y durante el uso, que la herramienta mide habilidades laborales en vez de ordenar personas por indicadores indirectos.
La promesa suena prolija. Una máquina lee cada currículum, ignora el encanto, ignora la intuición y da a reclutadores ocupados una lista más limpia. Esa promesa se derrumba cuando el filtro se entrena con antiguos patrones de contratación, descripciones rígidas de puestos o señales que reflejan raza, edad, discapacidad, clase social e historial de cuidados familiares. Un gerente humano sesgado puede dañar a un grupo de postulantes. Un filtro sesgado puede dañar en silencio a todos los grupos de postulantes.
El sesgo algorítmico en la contratación empieza antes de la entrevista
El punto más peligroso de la contratación no siempre es la entrevista final. Es el primer corte, cuando un postulante desaparece sin saber por qué. Brookings describe la selección inicial como la etapa que elimina a algunos postulantes y destaca a otros, y afirma que la selección algorítmica suele ser el filtro más determinante que los postulantes deben atravesar[s]. Por eso mismo, el filtrado automatizado de currículums merece más escrutinio que la nota subjetiva de un gerente después de una entrevista. El postulante rechazado por un software quizá nunca llegue a un ser humano capaz de notar el contexto.
Harvard Business School y Accenture hallaron que los sistemas de reclutamiento forman la base de la contratación en muchas organizaciones, y que más del 90 % de los empleadores de su encuesta usaban sistemas de gestión de reclutamiento para filtrar o clasificar inicialmente a candidatos de habilidades medias y altas[s]. El informe también dice que esos sistemas están diseñados para maximizar la eficiencia al reducir el número de postulantes considerados activamente. La eficiencia no es un valor neutral cuando el atajo está construido con palabras clave exactas, requisitos de título, lagunas laborales y otros sustitutos imperfectos de la capacidad.
Ese es el sesgo algorítmico en la contratación en términos simples: un sistema que dice ampliar la búsqueda puede, en cambio, estrechar la puerta. Un candidato sin un título convencional puede ser filtrado antes de que alguien vea un portafolio. Una persona cuidadora con una pausa laboral puede parecer más débil ante un filtro basado en reglas que ante un gerente que entiende el puesto. Un postulante con discapacidad puede rendir peor en una evaluación porque la herramienta mide más el formato de la prueba que la habilidad que el empleo requiere.
La ley ya ve el peligro
La Equal Employment Opportunity Commission ha sido directa al señalar que las leyes federales contra la discriminación se aplican a la inteligencia artificial y a otras nuevas tecnologías en el empleo, incluidos el reclutamiento, la selección y la contratación[s]. La misma orientación de la EEOC dice que la discriminación puede ser intencional, como programar un filtro de currículums para rechazar a personas por un rasgo protegido, o puede provenir de una práctica aparentemente neutral con un impacto disparEfecto de una regla aparentemente neutral que perjudica a un grupo protegido sin justificación laboral suficiente. injustificable.
La ley de discapacidad muestra por qué esto no se trata solo de raza y género. El Department of Justice dice que los empleadores usan tecnologías de contratación para decidir si los postulantes cumplen los requisitos, realizar entrevistas en línea, aplicar pruebas por computadora y puntuar currículums, y advierte que esas tecnologías pueden discriminar a personas con discapacidad[s]. Si un lector de pantalla falla en una prueba en línea, o una herramienta de análisis de voz castiga una discapacidad del habla, el problema no es el postulante. El problema es un proceso de contratación que confunde una falla de accesibilidad con una falla laboral.
El caso iTutorGroup es la advertencia más clara. Según un boletín de la EEOC, la compañía aceptó pagar 365.000 dólares después de que la agencia alegara que su software de solicitud para tutores rechazaba automáticamente a postulantes mujeres de 55 años o más y a postulantes hombres de 60 años o más, lo que afectó a más de 200 postulantes calificados en Estados Unidos[s]. Eso no es un accidente misterioso de caja negra. Es lo que ocurre cuando la automatización convierte una regla presuntamente discriminatoria en escala instantánea.
El contraargumento tiene peso
Los empleadores tienen razón en una cosa: la contratación humana no es pura. Las personas favorecen escuelas conocidas, nombres conocidos, estilos de entrevista fluidos y currículums que se parecen a su propia trayectoria profesional. Brookings señala que la persistencia del sesgo en la toma de decisiones humanas ayuda a explicar el interés en las herramientas algorítmicas de contratación[s]. La consistencia puede ser útil. Una herramienta bien probada podría ayudar a detectar patrones que un reclutador pasa por alto.
Ese argumento no debería descartarse. Debería ser más difícil abusar de él. El estándar no puede ser que un empleador compró un producto reconocido o eliminó los rasgos protegidos de los campos de entrada. El sesgo no necesita una columna llamada raza para encontrar la raza. Puede viajar por nombres, códigos postales, escuelas, pausas de carrera, patrones de habla, escritura clara, acceso a dispositivos y oportunidades previas.
Qué debería cambiar
Una respuesta seria al sesgo algorítmico en la contratación empieza con un traslado de la carga de la prueba. Los empleadores que implementen herramientas de filtrado de currículums deberían tener que mostrar que la herramienta está vinculada con tareas reales del puesto, que fue probada para detectar impacto dispar, que es accesible para postulantes con discapacidad y que se monitorea después del lanzamiento. Si un proveedor se niega a explicar el modelo lo suficiente para una auditoría, la herramienta no debería tocar postulaciones.
La ciudad de Nueva York ha dado un paso parcial. Su Local Law 144 prohíbe a empleadores y agencias de empleo usar una herramienta automatizada de decisión laboral, a menos que la herramienta haya tenido una auditoría de sesgo dentro de un año, la información sobre la auditoría esté disponible públicamente y se haya dado aviso a candidatos o empleados[s]. Eso es un piso, no una meta final. Los resúmenes públicos de auditoría ayudan, pero los candidatos también necesitan un aviso claro, una vía real de adaptación y una apelación humana cuando un filtro los bloquea.
La respuesta al sesgo algorítmico en la contratación no es prohibir toda ayuda automatizada. Es dejar de tratar la automatización como inocencia. Un filtro de currículums es una herramienta de decisión laboral. Si puede rechazar personas, clasificarlas u ocultarlas de la revisión humana, merece la misma seriedad que cualquier otro guardián. Los empleadores deberían poder usar tecnología para organizar postulaciones. No deberían poder lavar la discriminación mediante software y llamarla eficiencia. Esa es la regla mínima para el sesgo algorítmico en la contratación: ordenar la fila, pero no esconder a la persona.
El sesgo algorítmicoCuando los sistemas de aprendizaje automático producen resultados que reflejan o refuerzan los sesgos socioeconómicos, raciales y de género existentes en sus datos de entrenamiento. en la contratación debería tratarse como un problema de control industrial, no como una promesa ética de un proveedor. La decisión de automatizar el filtrado de currículums cambia la escala, la opacidad y la carga probatoria de la contratación. Una vez que el software clasifica postulantes, la pregunta relevante no es si el empleador pretendía discriminar. La pregunta es si el sistema de selección produce exclusión injustificada y si alguien puede demostrar que no lo hace.
La asistencia técnica de la EEOC sobre el Title VII es útil porque se niega a dejar que los empleadores se escondan detrás del vocabulario. Enumera escáneres de currículums, chatbots, herramientas de video, software de monitoreo y puntajes de adecuación al puesto como herramientas algorítmicas de toma de decisiones, y explica que las Uniform Guidelines pueden aplicarse cuando esas herramientas se usan para tomar o informar decisiones de contratación, ascenso, despido o decisiones laborales similares[s]. También dice que un empleador puede seguir siendo responsable bajo el Title VII cuando un proveedor diseñó o administró la herramienta.
El sesgo algorítmico en la contratación es una falla de validación
La debilidad central de la selección automatizada es que la precisión predictiva puede ocultar un fracaso legal y social. Un modelo puede predecir qué postulantes se parecen a contrataciones pasadas, trayectorias pasadas de ascenso o ganadores pasados de evaluaciones de desempeño. Eso no significa que prediga con justicia quién puede hacer el trabajo. Brookings señala que las herramientas de selección algorítmica pueden parecer basadas en evidencia mientras reproducen o empeoran el sesgo humano incrustado en los conjuntos de datos usados para construirlas[s]. Un modelo puede ser válido frente a un punto de referencia sesgado y aun así estar equivocado para un mercado laboral justo.
NIST da el marco correcto. Su publicación sobre sesgo dice que los intentos actuales de abordar el sesgo de la inteligencia artificial suelen concentrarse en factores computacionales, como la representatividad de los conjuntos de datos y la equidad del modelo, mientras que los factores humanos, institucionales y sociales también son fuentes importantes de sesgo[s]. En contratación, eso significa que un modelo limpio todavía puede automatizar una mala descripción de puesto, una métrica de desempeño obsoleta o una historia del mercado laboral moldeada por la exclusión.
El sesgo algorítmico en la contratación sobrevive a la eliminación de rasgos protegidos explícitos porque los indicadores indirectos hacen el trabajo. Los nombres pueden señalar raza y género percibidos. Las pausas pueden señalar cuidados familiares, discapacidad, enfermedad o historial de encarcelamiento. Los filtros universitarios pueden importar clase social y geografía. Los filtros por palabras clave pueden premiar a postulantes que aprendieron el dialecto del reclutamiento corporativo, y la escritura clara puede convertirse en otra señal mal interpretada, en vez de favorecer a postulantes que pueden hacer el trabajo.
La evidencia ya es concreta
Investigadores de la Universidad de Washington realizaron un estudio de auditoría de currículums usando más de 500 currículums y 500 descripciones de puestos en nueve ocupaciones. En el resumen de arXiv, informaron que los modelos de incrustación de texto probados favorecieron significativamente los nombres asociados con personas blancas en el 85,1 % de los casos y los nombres asociados con mujeres en solo el 11,1 % de los casos[s]. El resumen de la universidad agrega que los sistemas prefirieron nombres asociados con personas blancas el 85 % de las veces frente a nombres asociados con personas negras el 9 % de las veces, y nunca prefirieron nombres masculinos percibidos como negros sobre nombres masculinos blancos en las comparaciones probadas[s].
Esa evidencia importa porque el incentivo del mercado apunta en sentido contrario. SHRM encontró que, entre las organizaciones que usaban inteligencia artificial para apoyar el reclutamiento, las entrevistas o la contratación, muchas la usaban para tareas administrativas o de reclutamiento, y cerca de una de cada tres la usaba para revisar o filtrar currículums de postulantes[s]. El argumento empresarial es la velocidad. El riesgo social es que la velocidad avance más rápido que el diagnóstico, la apelación o la rendición de cuentas.
Harvard Business School y Accenture documentaron la misma tensión desde el lado del talento. Su informe dice que los sistemas de gestión de reclutamiento son usados por más del 90 % de los empleadores de su encuesta para filtrar o clasificar inicialmente a candidatos de habilidades medias y altas, y que los sistemas están diseñados para maximizar la eficiencia del proceso al reducir el grupo de postulantes[s]. Esa es una decisión de gestión disfrazada de necesidad técnica.
La discapacidad expone la falla
La discapacidad es la prueba más difícil para la contratación automatizada porque revela si una herramienta mide habilidad o conformidad con el entorno de prueba. La orientación de la EEOC dice que un empleador puede violar la ADA cuando una herramienta algorítmica de toma de decisiones filtra a una persona con discapacidad que podría hacer el trabajo con una adaptación razonable[s]. No es un tema lateral. Si una evaluación penaliza a un postulante ciego porque la interfaz falla, o a un postulante neurodivergente porque la herramienta equipara el comportamiento facial con la competencia, el empleador aprendió poco sobre el desempeño laboral.
El contraargumento es que los humanos también cometen esos errores, a menudo con menos consistencia y sin rastro de auditoría. Eso es cierto, y es el argumento más fuerte a favor de herramientas cuidadosamente gobernadas. El software puede registrar decisiones. El software puede probarse. El software puede ser obligado a usar criterios estructurados en vez del estado de ánimo de un reclutador. Pero esas ventajas existen solo cuando los empleadores construyen la gobernanza alrededor de la herramienta. Sin esa gobernanza, la automatización se vuelve un multiplicador de sesgo con mejor papeleo.
Las auditorías deben tener consecuencias
Las auditorías del sesgo algorítmico en la contratación no deberían ser teatro. Deberían ser específicas para cada puesto, actualizarse cuando cambien la herramienta o el mercado laboral, y estar diseñadas para detectar daños interseccionales. Una herramienta que aprueba un análisis racial amplio aún puede dañar a hombres negros. Una herramienta que aprueba un análisis de género aún puede castigar a mujeres mayores. Una herramienta que aprueba ambos aún puede ser inaccesible para postulantes con discapacidad.
La ley AEDT de la ciudad de Nueva York apunta en la dirección correcta al exigir una auditoría de sesgo dentro de un año, información pública sobre la auditoría y aviso antes de que se usen herramientas automatizadas de decisión laboral cubiertas[s]. La debilidad es que la divulgación sin estándares exigibles puede convertirse en un ritual de cumplimiento. Los empleadores deberían tener que pausar o retirar herramientas que fallen las pruebas de impacto disparEfecto de una regla aparentemente neutral que perjudica a un grupo protegido sin justificación laboral suficiente., a menos que puedan mostrar necesidad laboral y que no existe una alternativa menos discriminatoria.
Tampoco hay un caso serio para trasladar la culpa al proveedor. El boletín de la EEOC sobre iTutorGroup dice que la agencia alegó que el software de solicitud para tutores de la compañía rechazaba automáticamente a postulantes mujeres de 55 años o más y a postulantes hombres de 60 años o más, y que el acuerdo aportó 365.000 dólares para postulantes rechazados automáticamente por edad[s]. La lección es tajante: un empleador no puede externalizar la discriminación y quedarse con el beneficio mientras descarga la responsabilidad.
La regla debería ser simple
La respuesta de política pública al sesgo algorítmico en la contratación debería ser primero prueba, después uso. Antes del despliegue, los empleadores deberían documentar la razón relacionada con el puesto para cada filtro automatizado, probar tasas de selección por grupos protegidos cuando sea legal y factible, verificar la accesibilidad, revelar la herramienta a los postulantes y ofrecer una vía de revisión humana. Después del despliegue, deberían monitorear resultados, publicar resúmenes significativos y retirar herramientas que no puedan auditarse. Ese estándar trata el sesgo algorítmico en la contratación como un riesgo medible, no como un problema de marca.
La automatización puede ayudar a la contratación solo si está subordinada a la igualdad de oportunidades. En el momento en que se convierte en un escudo contra el escrutinio, debería perder el privilegio de tocar postulaciones. Un filtro de currículums que decide en silencio quién es visible no es software administrativo. Es un guardián, y los guardianes necesitan reglas.
