Su una scala di segregazione in cui 2,0 significa che ogni gruppo demografico è stato completamente confinato nella propria nicchia occupazionale, i partecipanti umani hanno ottenuto 0,84. I large language model che svolgevano lo stesso identico compito hanno ottenuto circa il 65% in più. o3 di OpenAI ha raggiunto 1,83 (MIT Technology Review, 2026).
Nessuno ha addestrato quel pregiudizio. I candidati erano fittizi, i gruppi etnici erano inventati e ogni candidato aveva la stessa probabilità di avere successo in ogni lavoro. I modelli hanno costruito lo stereotipo da soli, in tempo reale, a partire da una manciata di esiti di assunzione.
È un problema diverso da quello che il tuo processo di procurement è progettato per intercettare. Il bias di screening AI, così come lo concepisce la maggior parte della due diligence sui fornitori, è ereditato: un residuo di dati di addestramento distorti, rilevabile prima del rilascio, correggibile con un corpus migliore e un certificato di audit. Questo invece è un pregiudizio senza alcuna fonte a monte. Si forma dopo il go-live, dal feedback sui tuoi stessi esiti di assunzione, dentro un sistema che ha superato ogni controllo pre-rilascio che hai eseguito.
Lo studio: dati puliti in entrata, segregazione in uscita
I ricercatori della Princeton University e della University of Chicago hanno adattato un esperimento di psicologia sulla formazione degli stereotipi umani e lo hanno somministrato a 15 modelli di OpenAI, Anthropic, DeepSeek, Meta, Google e Alibaba. Il paper è stato presentato a ICML a Seoul nel luglio 2026 (Liu et al., ICML 2026).
L'impianto è deliberatamente sterile. A ogni modello viene detto di essere stato assunto come consulente dal sindaco di una città immaginaria e di dover coprire 20 posizioni: medici, avvocati, assistenti all'infanzia, addetti alle pulizie. Ogni round presenta una posizione aperta e quattro candidati, uno per ciascuno di quattro gruppi etnici inventati: Tufa, Aima, Reku, Weki. Il modello assume, apprende se quella persona ha avuto successo e passa al round successivo. Quaranta round. Massimizzare le assunzioni riuscite.
La verità di fondo, nascosta al modello: ogni candidato ha la stessa probabilità di riuscire in ogni lavoro. Non c'è alcun segnale da trovare.
I modelli ne hanno trovato uno lo stesso. Informato che un Aima aveva fallito come medico, un modello smetteva di assumere Aima come medici e cominciava a indirizzarli verso ruoli di pulizia, che classificava come richiedenti minore calore e competenza (MIT Technology Review, 2026). Un esito, un gruppo, un lavoro. Da lì, un sistema di caste.
Gli autori sono netti sul significato: gli LLM "possono sviluppare spontaneamente nuovi pregiudizi sociali su gruppi demografici artificiali anche quando non esistono differenze intrinseche", il che li rende "non semplici specchi passivi dei pregiudizi sociali umani, ma capaci di crearne attivamente di nuovi a partire dall'esperienza" (Liu et al., ICML 2026).
Un modello che non ha mai visto un dataset distorto può comunque produrre una forza lavoro segregata. Il pregiudizio non è nel corpus. È nella regola di aggiornamento.
Il tuo modello più performante è quello a rischio più alto
Ecco il risultato che dovrebbe riordinare la tua shortlist di fornitori. In ogni famiglia di modelli testata, i modelli di ragionamento più recenti, più grandi e più capaci erano più distorti, non meno. o3 di OpenAI e R1 di DeepSeek hanno stratificato i candidati nel modo più severo.
Il meccanismo non è un difetto. È la capacità che funziona come progettata. Ryan Liu, coautore di Princeton, lo dice senza giri di parole: gli LLM "sono davvero avidi di creare generalizzazioni a partire da dati limitati. È letteralmente gran parte di ciò per cui sono ottimizzati" (MIT Technology Review, 2026).
Ogni decisore affronta il trade-off tra esplorazione e sfruttamento: restare su ciò che ha funzionato, o provare qualcosa che potrebbe funzionare meglio. I modelli addestrati su problemi di matematica, coding e scienze vengono premiati per dedurre una regola da pochi esempi e poi applicarla con sicurezza. È esattamente questo istinto a renderli bravi nei rompicapi logici. Puntato su un problema di allocazione sociale, diventa generalizzazione prematura da evidenza sottile, e smette di esplorare i gruppi che ha già archiviato. La formulazione degli stessi ricercatori: un modello più forte "può favorire candidati di un gruppo se assegnazioni precedenti a lavori simili hanno avuto successo", e "questa tendenza apparentemente razionale può essere disadattiva, perché rischia di ridurre l'esplorazione e di marginalizzare inavvertitamente gruppi sociali" (Liu et al., ICML 2026).
L'implicazione operativa ribalta un'euristica standard di procurement. Nel tuo confronto tra strumenti di screening, il modello che segna i migliori numeri di accuratezza su un benchmark statico è plausibilmente quello che segregherà di più una volta che inizierà ad apprendere da esiti reali. Capacità e questa modalità di fallimento sono correlate, e al momento stai selezionando solo sulla capacità.
La tua due diligence sul bias di screening AI è puntata sull'artefatto sbagliato
Gran parte della governance dell'AI nel recruiting esamina cose che esistono prima che il sistema incontri i tuoi candidati: provenienza dei dati di addestramento, model card, metriche di fairness su un set di benchmark, un test di impact ratio pre-rilascio, un pacchetto di assurance simile a un SOC 2 fornito dal vendor.
La Local Law 144 di New York City — il modello più copiato del settore — richiede un audit annuale indipendente sui bias che misuri gli impact ratio dei tassi di selezione per sesso e razza/etnia per gli automated employment decision tool, inclusa un'analisi intersezionale e la pubblicazione di una sintesi dell'audit (Warden AI, 2026). Annuale. Indipendente. E una fotografia istantanea.
Una fotografia è lo strumento sbagliato per un pregiudizio che si accumula round dopo round. Nello studio, la segregazione è emersa nell'arco di 40 decisioni. Uno screener che processa volumi da mid-market smaltisce 40 decisioni in un pomeriggio. Un audit di marzo che certifica la parità non dice nulla sulla politica su cui il sistema è convergente a settembre, perché la politica di settembre è stata costruita su dati che a marzo non esistevano: i tuoi dati, i tuoi esiti di assunzione, il tuo feedback.
Questo divario si allarga a ogni funzionalità di memoria e personalizzazione che i fornitori rilasciano. Uno screener che conserva il contesto tra le sessioni, o che viene affinato sulle tue decisioni di accettazione/rifiuto, o che mantiene un riassunto aggiornato di "cosa ha funzionato qui", è esattamente l'architettura che lo studio modella. Uno screener stateless, che valuta ogni curriculum in modo indipendente e poi dimentica, è sensibilmente più sicuro — che è l'opposto di come questi prodotti ti vengono venduti.
Il divario tra adozione e controllo
L'esposizione è già ampia. Oltre il 90% delle organizzazioni ha implementato l'AI nella talent acquisition, mentre meno del 5% dichiara risultati trasformativi, secondo la ricerca 2026 di ManpowerGroup Talent Solutions su senior talent leader di Stati Uniti e Regno Unito (ManpowerGroup, 2026). Adozione quasi universale, valore realizzato minimo e — suggerisce lo studio — un rischio di drift non misurato che scorre sotto entrambi.
L'obiezione più forte, e dove smette di reggere
La controargomentazione onesta: si tratta di una città immaginaria con etnie inventate e un segnale di ricompensa giocattolo. Il tuo ATS non funziona così. Gli screener reali ordinano rispetto a embedding delle job description e criteri strutturati, la maggior parte non apprende affatto dagli esiti a valle, e i quattro gruppi inventati non portano nessuna delle correlazioni che rendono trattabile il bias del mondo reale.
Quell'obiezione ha ragione sulla trasferibilità del meccanismo e torto sulla sua direzione.
Regge dove il tuo screener è genuinamente stateless: nessuna memoria, nessun feedback sugli esiti, nessun fine-tuning sulle tue decisioni, con ogni candidato rivalutato a partire da una policy fissa. Se questo descrive il tuo stack, lo studio è un avvertimento su un sistema che non hai ancora comprato.
Smette di reggere su due punti. Primo, i gruppi fittizi rafforzano anziché indebolire il risultato: senza correlati nel mondo reale non c'era alcun segnale legittimo da apprendere, quindi ogni unità di segregazione è fabbricata. In una pipeline reale, dove esistono correlazioni genuine, un modello ha più materiale su cui sovra-generalizzare, non meno. Secondo, il settore si sta muovendo esattamente verso gli agenti stateful, dotati di memoria e in apprendimento continuo, in cui questa modalità di fallimento è nativa. La domanda non è se il tuo strumento attuale faccia questo. È se lo farà l'aggiornamento che il tuo fornitore ha in roadmap per l'anno prossimo — e se il tuo contratto te lo direbbe.
Quanto costa prima che qualcuno presenti un ricorso
La coda legale non è teorica. In Mobley v. Workday, un'azione per discriminazione sullo screening algoritmico nel Distretto Nord della California, gli stessi atti depositati da Workday indicano che 1,1 miliardi di candidature sono state respinte usando i suoi strumenti nel periodo rilevante, e il caso è avanzato attraverso la certificazione collettiva e una discovery contestata su test di bias e dati dei candidati (Duane Morris, 2026). Qualunque sia l'esito, l'impostazione della discovery è ormai stabilita: le tue decisioni di screening e i tuoi registri di test sui bias sono raggiungibili.
Il costo più silenzioso arriva prima, ed è un problema di qualità delle assunzioni prima che legale. Uno screener che ha silenziosamente smesso di far emergere una coorte per un certo ruolo non genera un errore. Restituisce una shortlist che sembra del tutto ragionevole. Perdi i candidati che non hai mai visto, secondo uno schema che nessuno ha scelto, e le metriche del tuo funnel restano verdi per tutto il tempo — perché uno spazio di ricerca che si restringe e uno spazio di ricerca efficiente producono la stessa dashboard.
Una decisione per questo trimestre
Prima del prossimo rinnovo o ampliamento del contratto con il fornitore di screening, metti due domande per iscritto ed esigi risposte scritte.
Prima: questo strumento ha uno stato? Conserva memoria tra candidati o sessioni, apprende dai nostri esiti di assunzione, o viene affinato sulle nostre decisioni di accettazione/rifiuto — oggi, o nella roadmap di prodotto? Un sì ti sposta da un regime di audit statico a un regime di monitoraggio del drift, e nient'altro nella tua governance cambia questo fatto.
Seconda: che cosa ci mostrerebbe il drift? Due clausole coprono gran parte del rischio. Un holdout a esplorazione randomizzata — una quota definita di decisioni prese senza la preferenza appresa dal modello, che è l'unico modo per continuare a osservare gli esiti delle coorti che il sistema ha iniziato ad accantonare. E un monitoraggio degli esiti per coorte con cadenza mensile, che tracci i tassi di selezione per gruppo e per ruolo, perché la modalità di fallimento dello studio non è un minor numero di assunzioni da un gruppo nel complesso: è lo stesso numero di assunzioni, smistate verso lavori diversi. Un impact ratio aggregato avrebbe mostrato parità in quella simulazione mentre l'indice di segregazione saliva verso il suo massimo.
Entrambe le clausole appartengono al contratto, non al piano di implementazione. Il rinnovo è il momento in cui hai leva negoziale.
Il bias di screening AI in questo studio non era ereditato, non era intenzionale e non era visibile in alcun artefatto esistente prima del rilascio. È stato fabbricato sul campo, dal sistema più capace nella stanza, a partire da dati che non contenevano nulla da trovare. Punta la tua due diligence su ciò che il modello impara da te — non su ciò che sapeva quando è arrivato.
