Los grandes modelos de lenguaje pueden generar sus propios estereotipos en tareas de contratación
Las advertencias sobre la inteligencia artificial en la contratación suelen centrarse en un riesgo familiar: si un modelo se entrena con datos históricos sesgados, puede reproducir y amplificar esos sesgos. Un nuevo estudio destacado por Gizmodo apunta a una posibilidad más inquietante. Los grandes modelos de lenguaje no solo podrían reflejar los prejuicios humanos. En ciertas condiciones, podrían crear nuevos sesgos sociales por sí mismos.
La investigación, realizada por académicos de la Universidad de Princeton y la Universidad de Chicago, puso a prueba modelos de lenguaje en un juego de contratación controlado que antes se había usado con participantes humanos. El planteamiento eliminó categorías étnicas del mundo real y las sustituyó por grupos ficticios, lo que permitió a los investigadores observar cómo se forman los estereotipos cuando no existen verdaderas diferencias subyacentes entre grupos.
Según el resumen del estudio, el resultado fue que los modelos de lenguaje desarrollaron con frecuencia sesgos más fuertes que los participantes humanos. Ese hallazgo importa porque cambia el debate sobre políticas públicas. Si el problema fuera solo la contaminación de los datos históricos, los desarrolladores podrían sostener que una mejor curación, desbiasado o auditoría de los corpus de entrenamiento resolvería la mayor parte del asunto. Pero si los modelos también generan patrones discriminatorios a través de su propio comportamiento orientado a maximizar recompensas en tareas de decisión, el reto de gobernanza se vuelve mucho más amplio.
Una prueba controlada con grupos demográficos inventados
En el experimento, los candidatos fueron asignados a uno de cuatro grupos étnicos inventados: Tufa, Aima, Reku o Weki. Por diseño, todos tenían la misma probabilidad de tener éxito en cualquier puesto. Los participantes, ya fueran humanos o máquinas, debían asignar a los aspirantes a distintos empleos y luego recibir retroalimentación sobre si la decisión de contratación había sido exitosa.
Ese circuito de retroalimentación es crucial. Una vez que un participante recibía un mal resultado después de colocar a un miembro de un grupo ficticio en un rol específico, a menudo se volvía menos probable que repitiera esa misma combinación. Los humanos en la versión anterior del juego mostraron esa tendencia, y a veces trasladaban esos sesgos aprendidos incluso después de que el juego terminaba.
Los modelos de lenguaje se comportaron de forma similar, pero con mayor intensidad. El resumen del estudio dice que los modelos mostraron tasas de sesgo más altas que los humanos y que podían formar espontáneamente estereotipos sociales en torno a grupos completamente artificiales. Como los grupos eran ficticios y los candidatos estaban igualmente calificados por diseño, la discriminación observada no podía explicarse por diferencias reales entre grupos.
Eso le da al resultado una fuerza inusual. Sugiere que el modelo puede pasar de una retroalimentación escasa a supuestos duraderos basados en categorías incluso cuando esos supuestos no tienen base factual. En términos prácticos, un sistema optimizado para tomar decisiones repetidas sobre personal puede deslizarse hacia una elaboración burda de patrones porque esa es una atajo eficiente bajo incertidumbre.
Por qué importa la disyuntiva “explorar-explotar”
Los investigadores vinculan el resultado con un principio clásico de la ciencia de la decisión conocido como la disyuntiva explorar-explotar. En situaciones de incertidumbre, un agente puede explorar, probando opciones que conoce menos, o explotar, ceñirse a las decisiones que parecen haber funcionado antes.
Los humanos hacen esto constantemente. Pero las personas también incorporan normas morales, dudas y restricciones sociales en sus decisiones, factores que pueden moderar un comportamiento puramente orientado a maximizar recompensas. El estudio sostiene que los sistemas de IA están menos motivados a explorar y más inclinados a optimizar aquello que un feedback limitado parece premiar. Eso crea una vía hacia la formación de estereotipos.
Una vez que un modelo infiere que una categoría puede estar asociada con éxito o fracaso en un puesto dado, puede seguir explotando ese supuesto en lugar de desafiarlo. El peligro no es solo que el supuesto sea incorrecto. Es que el sistema puede convertir el azar en una regla y luego comportarse como si esa regla fuera significativa.
Esto tiene implicaciones obvias para el software de reclutamiento, las herramientas de filtrado de currículos y los asistentes de IA usados para resumir o clasificar candidatos. Incluso si los diseñadores eliminan las referencias explícitas a raza, género u otras características protegidas, los modelos aún pueden formar patrones sustitutivos cuando aparecen categorías o variables proxy en el flujo de trabajo. El estudio indica que el sesgo puede surgir del propio proceso de decisión, no solo del archivo de entrenamiento que hay detrás.
Los modelos más capaces no eran necesariamente más seguros
Otro punto notable del resumen de la fuente es que los investigadores probaron 15 modelos de grandes proveedores como OpenAI, Anthropic, DeepSeek, Meta, Google y Alibaba. Uno de los hallazgos más llamativos fue que los modelos más nuevos y grandes, con capacidades de razonamiento más fuertes, tendían a producir resultados más sesgados dentro de una misma familia de modelos.
Eso va en contra de una narrativa pública común según la cual los modelos más avanzados se vuelven naturalmente más confiables en dominios sensibles. Un mejor razonamiento puede mejorar muchas tareas, pero este estudio sugiere que también puede hacer que un modelo sea más eficaz para fijarse en estrategias estrechas, orientadas a maximizar recompensas, que terminan endureciéndose en conductas discriminatorias.
El resumen afirma específicamente que el modelo de razonamiento o3 de OpenAI estratificó a los solicitantes ficticios con la mayor severidad entre los sistemas probados. Por sí solo, eso no determina cómo se comportaría ningún modelo concreto en un producto de contratación en producción. Pero sí subraya una lección más amplia: las mejoras en benchmarks y el rendimiento de razonamiento no sustituyen las pruebas de equidad bajo condiciones reales de decisión.
Qué deberían sacar de esto las empresas y los reguladores
Para los empleadores, la conclusión inmediata es que “asistido por IA” no significa neutral en términos de sesgo. La afirmación de un proveedor de que un sistema evita el prejuicio humano explícito es un estándar demasiado estrecho si el modelo puede fabricar preferencias de categoría mediante bucles de retroalimentación repetidos. Los equipos de compras necesitan preguntar cómo se comporta un modelo con el tiempo, cómo actualiza o refuerza patrones y si se usa en un ámbito donde las generalizaciones falsas pueden afectar directamente las oportunidades de las personas.
Para los reguladores, el estudio respalda un cambio que se aleje de las auditorías estáticas por sí solas. Las pruebas puntuales sobre un conjunto de datos congelado pueden no detectar un sistema que se vuelve más discriminatorio a medida que interactúa con resultados, indicaciones de usuario o señales de optimización posteriores. La supervisión podría necesitar incluir pruebas de estrés basadas en simulación, monitoreo continuo y reglas más claras sobre cuándo la IA debe excluirse por completo de la selección de alto riesgo.
El problema más grande es conceptual. El debate público ha enmarcado a menudo el sesgo de la IA como un residuo histórico: la sociedad fue injusta, los datos capturaron esa injusticia y los modelos la heredaron. Esta investigación sugiere que algunos sistemas también pueden ser motores de nueva injusticia, ensamblando estereotipos a partir de señales débiles porque hacerlo resulta instrumentalmente útil dentro de una tarea.
Esa posibilidad debería reducir los casos de uso aceptables de los modelos de lenguaje en contratación. Como mínimo, exige una revisión humana mucho más estricta y escepticismo frente a la clasificación automatizada. En el peor de los casos, puede significar que algunas decisiones laborales son simplemente demasiado sensibles para dejarlas en manos de sistemas que pueden transformar ruido en juicio social.
Este artículo se basa en un reportaje de Gizmodo. Lee el artículo original.
Originally published on gizmodo.com
