Sur 30 384 évaluations de CV, un audit de biais évalué par des pairs situe l'effet de genre à d=−0,00 (p=0,97) et le contraste Noirs–Blancs à d=+0,03 (p=0,29). Non pas « non significatif » — formellement équivalent à zéro, le nul de genre tenant jusqu'à une borne de |d|=0,035 (Pavlopoulos, Analytics, 2026). Puis la même étude a remplacé la grille de notation par une instruction informelle, à l'instinct, a maintenu l'expérience des candidats strictement constante, et une préférence de d=0,41 pour les cohortes diplômées les plus anciennes est revenue par la fenêtre.
Le modèle était propre. Le prompt ne l'était pas. Et votre audit de biais a testé le modèle.
Cet écart constitue tout l'enjeu opérationnel, car le document que votre fournisseur vous remet certifie un objet qui n'est pas celui qui prend vos décisions de présélection. La décision est prise par un modèle plus une instruction plus une fenêtre de contexte, et un seul des trois est audité.
L'audit a été conçu pour faire tomber son propre résultat nul
La plupart des études sur l'équité des LLM testent une condition et rendent un verdict. Celle-ci traite la robustesse comme objet d'étude, et c'est pourquoi son résultat nul mérite une lecture plutôt qu'un classement.
Trois modèles instruction-tuned ont été évalués via leurs API : Gemini 2.5 Flash, Gemini 2.5 Flash-Lite et le modèle open-weight Llama 3.1 8B Instruct — un choix délibéré couvrant les offres commerciales hébergées et la voie auto-hébergée. La notation était ancrée sur une référence plutôt qu'absolue, car l'échelle absolue 0–100 effondrait la variance nécessaire à la détection de quoi que ce soit : dans les essais pilotes, presque chaque CV se plaçait autour de 95. Chaque candidat a donc été noté contre une référence neutre fixe pour la même profession, ce qui a rétabli une dispersion de 12 à 18 points. L'échantillonnage s'est fait à température 0,7 avec des évaluations répliquées par cellule, de sorte que les effets ont été mesurés contre la variabilité intra-cellule réelle et non contre une seule sortie déterministe.
Trois choix de conception rendent le résultat difficile à écarter.
Un contrôle positif qui a fonctionné. Les trois modèles ont séparé les candidats de niveau intermédiaire des juniors à d=3,40, 3,21 et 1,93. L'instrument lit démontrablement la qualité, donc un nul démographique ne peut être écarté comme une mesure inerte. Les effets d'ancienneté ont dépassé les effets démographiques d'environ deux ordres de grandeur.
Tests d'équivalence, et non absence de significativité. Chaque contraste principal a rejeté le nul TOST à la borne |d|=0,2 avec p<0,001, avec des marges atteintes de 0,035 pour le genre, 0,056 pour Asiatiques–Blancs, et 0,080 et 0,085 pour Noirs–Blancs et Hispaniques–Blancs. Le contrôle d'ancienneté a renvoyé TOST p=1,000, confirmant que la procédure ne certifie pas des effets réellement grands.
Provocation délibérée. L'étude 3 a affaibli les candidats, assoupli le prompt et placé en préambule un texte de culture fit décrivant une équipe soudée et énergique. La manipulation a mordu : les CV limites ont obtenu 32,5 en moyenne contre 67,6 pour les CV intacts, une chute de 35 points. C'est précisément le régime dans lequel, sur le plan théorique, un décideur est le plus susceptible de substituer une heuristique à une évaluation. Là aussi, les effets de race et de genre sont restés négligeables.
Un petit effet réel est apparu : les candidats issus d'établissements non élitaires ont obtenu des notes légèrement plus basses, d=−0,05 (p=0,026), laissé marginal par le contrôle du taux de fausses découvertes à q=0,052. À noter, pas de quoi fonder une politique.
Ce qui est revenu, c'est le raccourci, pas le préjugé
Le résultat de première ligne dans le dispositif principal était un effet d'âge apparent de d=0,28. L'auteur a fait ce que la plupart des articles omettent et l'a relancé en supprimant la confusion — car les CV des diplômés plus âgés portaient aussi une expérience supplémentaire, mêlant âge et ancienneté.
Avec la grille structurée, à expérience identique, l'effet s'est effondré à d=0,02 (p=0,90). Avec l'instruction informelle, il a survécu à d=0,41 (p=0,03).
Lisez cette paire lentement. Une grille a forcé le modèle à ancrer son jugement dans des qualifications déclarées identiques d'un niveau d'âge à l'autre, de sorte que l'heuristique n'avait pas d'espace pour agir. Une instruction informelle a invité à une impression globale, et la longueur de la carrière a tenu lieu de qualité. Même modèle, mêmes CV, mêmes candidats — comportement opposé, décidé par la formulation de la demande. Et notamment, le prompt informel n'a pas ranimé d'effet de race ou de genre : il s'agissait d'un raccourci sur l'ancienneté, non d'un relâchement général de la retenue.
Le modèle open-weight portait son propre motif, plus discret. Les plus grands écarts de Llama venaient de signaux explicites de minorité : des diplômes étrangers du Sud global à d=−0,16, une affiliation religieuse musulmane à d=−0,13, un handicap déclaré à d=−0,12. Aucun n'a survécu à la correction pour fausses découvertes : ils sont donc indicatifs et non confirmés. Leur direction constamment négative et leur concentration dans le plus petit modèle, auto-hébergé, restent néanmoins le genre d'information qu'on voudrait avoir avant de le standardiser.
Une deuxième étude a trouvé des écarts de 12 %. Les deux résultats peuvent être vrais.
Si cette étude était la seule preuve, la conclusion serait confortable. Elle ne l'est pas.
Un audit centré sur l'interprétabilité a testé les principaux modèles commerciaux et ouverts — GPT-4o, Claude 4 Sonnet, Gemini 2.5 Flash, Gemma-2 27B, Gemma-3, Mistral-24B — et a constaté que l'ajout d'un contexte réaliste induisait un biais racial et de genre significatif, jusqu'à 12 points de pourcentage d'écart dans les taux de convocation en entretien (Karvonen et Marks, 2025). Le contexte était banal : noms d'entreprises, descriptions de culture reprises de pages carrières publiques, et contraintes de sélection telles que n'accepter que les 10 % de meilleurs candidats. Deux résultats supplémentaires devraient stopper net une conversation de conformité. Les simples instructions anti-biais dans le prompt, qui éliminent le biais dans les évaluations contrôlées, ont échoué dès lors que ce contexte réaliste était présent. Et les modèles ont inféré des données démographiques à partir d'indices subtils comme l'affiliation universitaire, le biais résultant restant invisible même à l'inspection de la chaîne de raisonnement.
Ainsi un audit rigoureux trouve un nul défendu sous provocation, et un autre trouve des écarts à deux chiffres dans les taux d'entretien sous un cadrage réaliste de déploiement. La réconciliation n'est pas que l'un se trompe. C'est que les deux ont localisé la variance au même endroit — l'instruction environnante, et non les a priori démographiques du modèle. Le cadrage d'une étude a supprimé le raccourci ; celui de l'autre l'a admis. Aucun des deux résultats ne se transfère à votre pipeline, car votre pipeline a son propre prompt.
C'est la partie inconfortable. Un résultat d'audit propre n'est pas transposable à une autre instruction.
La présélection humaine obéit à la même loi
Ce n'est pas une pathologie de la machine. C'est ce que fait le pouvoir discrétionnaire, et les preuves humaines pointent dans la même direction.
Un audit de CV a envoyé 36 880 candidatures à 9 220 offres d'emploi américaines destinées aux jeunes diplômés. Dans les professions d'encadrement, les convocations étaient de 28 à 43 pour cent plus faibles pour les hommes noirs, les femmes noires, les femmes blanches et les hommes hispaniques que pour des hommes blancs par ailleurs identiques (Braun et al., 2026). Le résultat structurel compte plus que le titre : les grandes catégories professionnelles masquaient la variation, et les écarts se concentraient dans les emplois combinant de fortes exigences analytiques et interpersonnelles avec un faible contenu routinier. En décomposant le contenu des tâches, l'évaluation subjective élargissait les écarts de convocation tandis que la précision objective les comprimait. Plus frappant encore, des diplômes attribués aléatoirement qui augmentaient les convocations en moyenne réduisaient les écarts dans les emplois à faible pouvoir discrétionnaire mais pas dans ceux à fort pouvoir discrétionnaire.
La signalisation du côté candidat ne peut pas réparer un problème de pouvoir discrétionnaire du côté employeur. Seule la contrainte de l'évaluation le fait. C'est un document de travail en cours d'évaluation et il mesure la première porte plutôt que les embauches — mais le mécanisme est celui que l'audit des LLM a isolé. Le pouvoir discrétionnaire porte le biais. La structure lui retire son espace d'action. Le prompt est simplement là où vit le pouvoir discrétionnaire quand le trieur est un modèle.
Votre audit de biais certifie le mauvais objet
Mettez maintenant le document de conformité à côté de ce mécanisme.
La Local Law 144 de New York interdit l'usage d'un outil automatisé de décision d'emploi sauf si « l'outil a fait l'objet d'un audit de biais dans l'année précédant son utilisation, les informations relatives à cet audit de biais sont publiquement disponibles et certaines notifications ont été fournies » (NYC Department of Consumer and Worker Protection, 2026). L'objet audité est l'outil.
Les obligations européennes pèsent sur l'autre partie. Les devoirs du déployeur pour les systèmes à haut risque de l'annexe III — dont le recrutement et l'évaluation des candidats — exigent un usage conforme aux instructions d'utilisation du fournisseur, et selon le calendrier modifié ils s'appliquent à partir du 2 décembre 2027 (EU AI Act Explorer, Article 113). Le fournisseur certifie le système. Vous êtes responsable de la manière dont il est réellement utilisé.
Entre ces deux pôles se trouve le résultat de cette recherche : ce qui décide si le biais apparaît, ce ne sont ni les poids du modèle ni vos intentions, mais la formulation de l'instruction, le texte de cadrage et la température à laquelle tout cela tourne. Personne n'audite cela. Ce n'est généralement même pas versionné.
Que changer ce trimestre
Quatre mesures. Aucune n'exige un cycle d'achat.
- Versionnez le prompt de notation comme un instrument, pas comme une configuration. Placez-le sous gestion de changement avec un responsable et une date. Toute modification — y compris une reformulation « anodine » — est une modification de l'appareil de mesure et invalide le résultat d'audit antérieur pour cet appareil.
- Supprimez le langage ambiant de culture fit des instructions de notation. Il fonctionne comme un critère non mesuré. Si le contexte culturel compte réellement pour un poste, faites-en une dimension explicite, notée séparément, avec une justification écrite, et non un paragraphe d'atmosphère placé en préambule de la demande.
- Retestez au changement de prompt, pas au calendrier. Un audit annuel contre un prompt que vous avez depuis modifié onze fois ne certifie rien. Relancez votre contrôle d'équité comme un test de régression chaque fois que l'instrument change, et fixez la température d'échantillonnage par la même occasion.
- Posez deux questions au renouvellement. Quelle génération de modèle et quels poids ont été audités, et contre quel prompt ? Le modèle open-weight de cette étude s'est comporté différemment des modèles commerciaux précisément sur les signaux qu'un prompt informel fait remonter, et aucun rapport d'audit ne nomme votre prompt.
Structurellement, les quatre mesures vont dans le même sens : réduire la part de la décision contrôlée par une instruction non versionnée. L'architecture de notation de Scovai est un exemple concret de cette séparation — un budget de poids fixe réparti 50/50, une moitié calculée arithmétiquement à partir des exigences déclarées du poste avec des pondérations de criticité, une moitié restituée sous forme de quatre sous-scores de jugement du modèle étiquetés, à basse température, chacun avec sa propre justification écrite plutôt qu'enfoui dans un total. Le point de conception à emprunter n'est pas le partage lui-même mais ce qu'il fait : il nomme quelle part de la note relève du jugement, afin que cette part puisse être auditée comme l'instrument qu'elle est.
Limites honnêtes, avant que quiconque fonde une politique sur ce nul. Les CV étaient synthétiques, le dispositif était centré sur les États-Unis pour les noms, les établissements et les professions, six professions étaient couvertes et les métiers juridiques, du secteur public et des services ne l'étaient pas. Le dispositif comparatif mesure des jugements relatifs, il peut donc manquer des biais qui n'agissent qu'à un seuil d'acceptation ou de rejet. Les effets indicatifs du modèle open-weight demandent des échantillons plus grands. Deux des trois modèles appartiennent à la famille Gemini. Et c'est un instantané de trois modèles à un moment donné — la position finale de l'auteur lui-même est que ce type d'audit doit se poursuivre au fil des mises à jour des systèmes. L'étude n'a reçu aucun financement externe et ne déclare aucun conflit d'intérêts.
La conclusion qui survit à tout cela : l'équité mesurée sur un benchmark propre ne garantit pas l'équité en déploiement, car la manière dont un modèle est interrogé peut décider si le biais apparaît.
Alors sortez cette semaine le prompt de présélection que vous avez en production, lisez-le pour l'instrument de mesure qu'il est, et vérifiez une seule chose — si l'audit de biais rangé dans votre dossier de conformité a été réalisé contre cette formulation ou contre une version antérieure. Si vous ne pouvez pas répondre, vous n'avez pas d'audit de biais. Vous avez un certificat pour un appareil que vous avez depuis modifié.
