Sur une échelle de ségrégation où 2,0 signifie que chaque groupe démographique a été entièrement confiné à sa propre niche professionnelle, les participants humains ont obtenu 0,84. Les grands modèles de langage exécutant la tâche identique ont obtenu environ 65% de plus. o3 d'OpenAI a atteint 1,83 (MIT Technology Review, 2026).
Personne n'a entraîné ce biais. Les candidats étaient fictifs, les groupes ethniques inventés, et chaque postulant avait exactement la même probabilité de réussir dans chaque poste. Les modèles ont construit le stéréotype eux-mêmes, en direct, à partir d'une poignée de résultats de recrutement.
C'est un problème différent de celui que votre processus d'achat est conçu pour détecter. Le biais de présélection IA, tel que la plupart des due diligence fournisseurs le conçoivent, est hérité : un résidu de données d'entraînement faussées, détectable avant le déploiement, corrigible par un meilleur corpus et un certificat d'audit. Ici, il s'agit d'un biais sans aucune source en amont. Il se forme après la mise en production, à partir du retour d'expérience de vos propres recrutements, dans un système qui a passé tous les contrôles préalables que vous avez menés.
L'étude : des données propres en entrée, de la ségrégation en sortie
Des chercheurs de Princeton University et de l'University of Chicago ont adapté une expérience de psychologie sur la formation des stéréotypes humains et l'ont fait passer à 15 modèles d'OpenAI, Anthropic, DeepSeek, Meta, Google et Alibaba. L'article a été présenté à ICML à Séoul en juillet 2026 (Liu et al., ICML 2026).
Le dispositif est délibérément stérile. On dit à chaque modèle qu'il a été engagé comme consultant par le maire d'une ville fictive et qu'il doit pourvoir 20 postes : médecins, avocats, auxiliaires de puériculture, agents d'entretien. Chaque tour présente une ouverture et quatre candidats, un de chacun des quatre groupes ethniques inventés : Tufa, Aima, Reku, Weki. Le modèle recrute, apprend si la personne a réussi, puis passe au tour suivant. Quarante tours. Maximiser les recrutements réussis.
La vérité de terrain, cachée au modèle : chaque candidat a la même probabilité de réussir à chaque poste. Il n'y a aucun signal à trouver.
Les modèles en ont trouvé un quand même. Informé qu'un Aima avait échoué comme médecin, un modèle cessait de recruter des Aima comme médecins — et commençait à les orienter vers des postes d'entretien, qu'il classait comme exigeant moins de chaleur et de compétence (MIT Technology Review, 2026). Un résultat, un groupe, un poste. À partir de là, un système de castes.
Les auteurs sont sans détour sur ce que cela signifie : les LLM « peuvent développer spontanément de nouveaux biais sociaux à propos de groupes démographiques artificiels même en l'absence de toute différence intrinsèque », ce qui en fait « non de simples miroirs passifs des biais sociaux humains, mais des systèmes capables d'en créer activement de nouveaux à partir de l'expérience » (Liu et al., ICML 2026).
Un modèle qui n'a jamais vu de jeu de données biaisé peut malgré tout produire une main-d'œuvre ségréguée. Le biais n'est pas dans le corpus. Il est dans la règle de mise à jour.
Votre modèle le plus performant est celui qui présente le plus de risque
Voici le résultat qui devrait réordonner votre liste restreinte de fournisseurs. Dans chaque famille de modèles testée, les modèles de raisonnement plus récents, plus grands et plus capables étaient plus biaisés, pas moins. o3 d'OpenAI et R1 de DeepSeek ont stratifié les candidats de la manière la plus sévère.
Le mécanisme n'est pas un défaut. C'est la capacité fonctionnant comme prévu. Ryan Liu, coauteur à Princeton, le dit sans détour : les LLM « sont vraiment avides de créer des généralisations à partir de données limitées. C'est littéralement une grande partie de ce pour quoi ils sont optimisés » (MIT Technology Review, 2026).
Tout décideur affronte l'arbitrage exploration-exploitation : s'en tenir à ce qui a marché, ou tenter quelque chose qui pourrait marcher mieux. Les modèles entraînés sur des problèmes de mathématiques, de code et de sciences sont récompensés pour déduire une règle de quelques exemples puis l'appliquer avec assurance. C'est exactement cet instinct qui les rend bons aux énigmes logiques. Braqué sur un problème d'allocation sociale, il devient une généralisation prématurée à partir de preuves minces, et il cesse d'explorer les groupes qu'il a déjà écartés. La formulation des chercheurs eux-mêmes : un modèle plus puissant « peut favoriser les candidats d'un groupe si des affectations antérieures à des postes similaires ont réussi », et « cette tendance apparemment rationnelle peut être inadaptée, car elle risque de réduire l'exploration et de marginaliser par inadvertance des groupes sociaux » (Liu et al., ICML 2026).
L'implication opérationnelle inverse une heuristique d'achat standard. Dans votre comparatif d'outils de présélection, le modèle qui affiche les meilleurs chiffres de précision sur un benchmark statique est vraisemblablement celui qui ségréguera le plus fort une fois qu'il apprendra de résultats réels. La capacité et ce mode de défaillance sont corrélés, et vous sélectionnez actuellement sur la seule capacité.
Votre due diligence sur le biais de présélection IA vise le mauvais artefact
L'essentiel de la gouvernance de l'IA en recrutement examine des éléments qui existent avant que le système ne rencontre vos candidats : provenance des données d'entraînement, model cards, métriques d'équité sur un jeu de référence, test d'impact ratio avant déploiement, dossier d'assurance de type SOC 2 fourni par l'éditeur.
La Local Law 144 de New York City — le modèle le plus copié du secteur — impose un audit de biais annuel et indépendant mesurant les ratios d'impact des taux de sélection par sexe et par race/origine ethnique pour les automated employment decision tools, y compris une analyse intersectionnelle et la publication d'un résumé de l'audit (Warden AI, 2026). Annuel. Indépendant. Et un instantané.
Un instantané est le mauvais instrument pour un biais qui s'accumule au fil des tours. Dans l'étude, la ségrégation a émergé sur 40 décisions. Un outil de présélection traitant des volumes de mid-market absorbe 40 décisions en un après-midi. Un audit de mars qui certifie la parité ne dit rien de la politique vers laquelle le système a convergé en septembre, parce que la politique de septembre a été construite à partir de données qui n'existaient pas en mars — vos données, vos résultats de recrutement, votre retour d'expérience.
Cet écart se creuse à chaque fonctionnalité de mémoire et de personnalisation que les éditeurs livrent. Un outil qui conserve le contexte entre les sessions, ou qui s'affine sur vos décisions d'acceptation/refus, ou qui maintient un résumé courant de « ce qui a marché ici », est précisément l'architecture que l'étude modélise. Un outil sans état, qui évalue chaque CV indépendamment puis oublie, est nettement plus sûr — ce qui est l'inverse de la façon dont ces produits vous sont vendus.
L'écart entre adoption et contrôle
L'exposition est déjà large. Plus de 90% des organisations ont déployé l'IA dans l'acquisition de talents, tandis que moins de 5% font état de résultats transformationnels, selon la recherche 2026 de ManpowerGroup Talent Solutions auprès de dirigeants talent seniors aux États-Unis et au Royaume-Uni (ManpowerGroup, 2026). Déploiement quasi universel, valeur réalisée minimale, et — l'étude le suggère — un risque de dérive non mesuré qui court sous les deux.
L'objection la plus forte, et où elle cesse de tenir
La contre-argumentation honnête : il s'agit d'une ville fictive, d'ethnies inventées et d'un signal de récompense de laboratoire. Votre ATS ne fonctionne pas ainsi. Les outils réels classent par rapport à des embeddings de fiches de poste et des critères structurés, la plupart n'apprennent absolument pas des résultats en aval, et les quatre groupes inventés ne portent aucune des corrélations qui rendent le biais du monde réel traitable.
Cette objection a raison sur la transférabilité du mécanisme et tort sur sa direction.
Elle tient là où votre outil est véritablement sans état : pas de mémoire, pas de retour sur les résultats, pas d'ajustement fin sur vos décisions, chaque candidat réévalué à partir d'une politique figée. Si cela décrit votre stack, cette étude est un avertissement sur un système que vous n'avez pas encore acheté.
Elle cesse de tenir sur deux points. D'abord, les groupes fictifs renforcent le résultat au lieu de l'affaiblir : sans corrélats dans le monde réel, il n'y avait aucun signal légitime à apprendre, donc chaque unité de ségrégation est fabriquée. Dans un pipeline réel, où des corrélations authentiques existent, un modèle dispose de plus de matière pour sur-généraliser, pas moins. Ensuite, le secteur se dirige précisément vers les agents à état, dotés de mémoire et en apprentissage continu, où ce mode de défaillance est natif. La question n'est pas de savoir si votre outil actuel fait cela. C'est de savoir si la mise à jour que votre fournisseur a inscrite à sa feuille de route l'an prochain le fera — et si votre contrat vous le dirait.
Ce que cela coûte avant que quiconque ne dépose une plainte
La traîne juridique n'est pas théorique. Dans Mobley v. Workday, une action pour discrimination portant sur la présélection algorithmique devant le district Nord de Californie, les propres écritures de Workday indiquent que 1,1 milliard de candidatures ont été rejetées à l'aide de ses outils sur la période concernée, et l'affaire a progressé jusqu'à la certification collective et à une phase de discovery contestée sur les tests de biais et les données des postulants (Duane Morris, 2026). Quelle que soit l'issue, la posture de discovery est désormais établie : vos décisions de présélection et vos registres de tests de biais sont atteignables.
Le coût le plus silencieux arrive en premier, et c'est un problème de qualité de recrutement avant d'être un problème juridique. Un outil qui a discrètement cessé de faire remonter une cohorte pour un poste donné ne renvoie pas d'erreur. Il rend une liste courte qui paraît tout à fait raisonnable. Vous perdez les candidats que vous n'avez jamais vus, selon un schéma que personne n'a choisi, et les métriques de votre entonnoir restent au vert tout du long — parce qu'un espace de recherche qui se rétrécit et un espace de recherche efficace produisent le même tableau de bord.
Une décision pour ce trimestre
Avant votre prochain renouvellement ou élargissement de contrat avec un fournisseur de présélection, posez deux questions par écrit et exigez des réponses écrites.
Première : cet outil a-t-il un état ? Conserve-t-il une mémoire entre candidats ou sessions, apprend-il de nos résultats de recrutement, ou s'affine-t-il sur nos décisions d'acceptation/refus — aujourd'hui, ou dans la feuille de route produit ? Un oui vous fait passer d'un régime d'audit statique à un régime de surveillance de la dérive, et rien d'autre dans votre gouvernance ne change cela.
Deuxième : qu'est-ce qui nous montrerait la dérive ? Deux clauses couvrent l'essentiel du risque. Un holdout à exploration randomisée — une part définie de décisions prises sans la préférence apprise du modèle, seul moyen de continuer à observer les résultats des cohortes que le système a commencé à écarter. Et un suivi des résultats par cohorte à cadence mensuelle, mesurant les taux de sélection par groupe et par poste, car le mode de défaillance de l'étude n'est pas un moindre nombre de recrutements dans un groupe au total : c'est le même nombre de recrutements, triés vers des postes différents. Un impact ratio agrégé aurait montré la parité dans cette simulation pendant que l'indice de ségrégation grimpait vers son plafond.
Ces deux clauses appartiennent au contrat, pas au plan de mise en œuvre. Le renouvellement, c'est le moment où vous avez du levier.
Le biais de présélection IA de cette étude n'était ni hérité, ni intentionnel, ni visible dans aucun artefact existant avant le déploiement. Il a été fabriqué en cours de route, par le système le plus capable de la pièce, à partir de données qui ne contenaient rien à trouver. Braquez votre due diligence sur ce que le modèle apprend de vous — pas sur ce qu'il savait en arrivant.
