Scovai Scovai
Hiring 2026-11-13 1 min read

Kısa listeniz çeşitlendi ama işe alım değişmedi — 26.000 GPT değerlendirmesi önyargının kaybolmadığını, yer değiştirdiğini gösteriyor

DSL

Dr. Sarah Liu

Kısa listeniz çeşitlendi ama işe alım değişmedi — 26.000 GPT değerlendirmesi önyargının kaybolmadığını, yer değiştirdiğini gösteriyor

Yalnızca kurucunun adı farklı olan birbirinin aynısı girişim sunumlarının 26.000 değerlendirmesinde GPT, siyah kadın adı taşıyan sunumların son sırada yer alma olasılığını 8,8 puan düşürdü — %25'lik taban orana karşı. Aynı yazarlar, azınlık adı taşıyan hiçbir sunumun kazanan seçilme olasılığının arttığına dair "tutarlı kanıt bulamadıklarını" belirtiyor; kazanan olmak, hızlandırma programına kabul anlamına gelen tek sonuçtu (Botelho ve Wang, Strategic Management Journal, 2026). Eşitsizlik azalmadı. Huninin kimsenin ölçmediği bir bölümüne taşındı.

Bu sonuç, yapay zekâ işe alım önyargısı denetiminizi nereye doğrulttuğunuzu değiştirmeli; çünkü arkasındaki iki sayı, hiçbir iyileşme üretmeden iyileşme raporlayan bir eleme yığınının tam imzasıdır.

Çalışma gerçekte ne yaptı

Botelho ve Wang (Yale), 2020–2023 arasında Y Combinator'a kabul edilen 2.000 girişimin iş tanımlarından sunumlar üretti ve ardından GPT'ye "prestijli bir hızlandırma programının jürisi" rolünü verdi; model her seferinde dört sunumluk partileri 0–100 ölçeğinde puanladı. Kontrol koşulunda sunumlarda kurucu adı yoktu. Deney koşulunda aynı sunumlar, aynı sırada, dört cinsiyet-etnisite grubundan birini işaret etmek üzere seçilmiş kurgusal bir ad taşıyordu. Koşul başına beş yüz parti. Ada bağlı sosyoekonomik durum, hane serveti verileriyle kontrol edildi; bu da adların etnisiteden çok sınıfın vekili olduğu yönündeki bilindik itirazı kapatıyor.

Temel bulgu bir fark değil, bir asimetri:

  • Son sıradan kaçınma. Beyaz erkek adı taşıyan sunumlara kıyasla azınlık adlı sunumların son sırada yer alma olasılığı daha düşüktü — siyah kadınlar için 8,8 puan (p = .006), siyah erkekler için 6,0 (p = .070), beyaz kadınlar için 4,0 (p = .204). Yalnızca ilki geleneksel düzeylerde anlamlı; diğer ikisini yön gösterici olarak okuyun.
  • Kazanan seçimi. Tutarlı etki yok. Ödül taşıyan sonuç yerinden kıpırdamadı.
  • Gerekçeler. GPT her puanı iş gerekçeleriyle savundu — pazar, müşteri içgörüsü, ürün inovasyonu. Hiçbir gerekçe cinsiyet, etnisite, adalet ya da hizalamaya atıfta bulunmadı.

Örüntü farklı bir ölçekte, farklı bir personada, "en kötüsünü ele" talimatında, ikinci bir görev alanında ve text-davinci-002'den GPT-4o'ya beş model sürümünde korundu. Bu bir istem artefaktı değil.

Yazarlar mekanizmaya sembolik uyum adını veriyor: model, değerlendirme mantığını değiştirmeden görünür biçimde ayrımcı çıktıyı bastırıyor. Terim, bir kararı değiştirmek için değil dış bir yükümlülüğü karşılamak için çeşitlilik uygulamaları benimseyen şirketler literatüründen bilinçli olarak alınmış. Çıktı uyumlu görünüyor. Karar görünmüyor.

Huninin ortası bir adayı park etmek için neden en kötü yer

Daha düşük bir son sıra oranı nötr değildir. İlerlememenin en pahalı biçimidir ve makale nedenini açıkça söylüyor.

Sıralamanın dibinden kurtulmak, adayı orta banda yerleştirir — kısa liste, ikinci tur, "umut verici, görüşmeye devam" yığını. Bu konumlar sürekli zaman, hazırlık ve itibar yatırımı gerektirir. Seçilme şansını iyileştirmez. Botelho ve Wang, değerlendirme hunileri üzerine önceki çalışmalara dayanarak, uzun süreli yatırımın ardından gelen tekrarlı geç reddin bir huniden gönüllü çıkışı tetiklemenin en güvenilir yollarından biri olduğunu savunuyor.

Hacimli eleme yürüten bir operasyon yöneticisi için çeviri nettir. Kısa liste bileşimini iyileştirip teklif bileşimini olduğu gibi bırakan bir eleme aracı daha çeşitli bir havuz inşa etmiyor. Aynı işe alıma varmak için daha fazla aday saati harcıyor ve bir kohortu başvurmayı bırakmaya alıştırıyor.

Döngüdeki insan, makul görünen sürümü sorgulamaktan vazgeçti

Çalışmanın ikinci yarısı, adalet kontrolü "her yapay zekâ önerisini bir işe alım uzmanı gözden geçiriyor" olan herkesi rahatsız etmeli.

"Second Opinion" deneylerinde — 18.000 değerlendirme daha — GPT aynı sunumları, simüle edilmiş bir insan jürinin puanı ve yazılı gerekçesiyle birlikte inceledi. Parti başına bir azınlık kurucunun puanı %25, yaklaşık 20 puan kesildi. Kesinti iki koşulda birebir aynıydı. Yalnızca belirtilen gerekçe değişti: iş kalitesine dair bir eleştiri ya da cinsiyet veya etnisiteyi hiç anmayan kimlik temelli bir klişe.

GPT cezayı, gerekçe iş yargısı gibi duyduğunda +1,8 puan, klişe gibi duyduğunda +3,2 puan düzeltti — aynı aritmetik haksızlığa duyarlılıkta %78 fark (p < .001). Ve büyük düzeltme bile kozmetikti: iki ayarlama özgün cezanın yalnızca %9 ve %16'sını telafi etti ve parti içi sıralamayı sırasıyla 500 partiden 3'ünde ve 500'den 16'sında değiştirdi. Kazanan seçimi her iki koşulda da değişmedi.

Bunu operasyonel olarak okuyun. Model, kimsenin yazıya geçirmediği önyargı sürümünü yakalıyor; her deneyimli değerlendiricinin gerçekten ürettiği sürümü ise geçiriyor — ticari uyum, iletişim veya olgunluk üzerine savunulabilir tonda bir paragraf.

Hata ters yönde de işliyor. 48 gerçek başvuruyu eleyen 228 değerlendiriciyle yapılan bir saha deneyinde kara kutu yapay zekâ önerileri karar kalitesini iyileştirdi; aynı önerilerin anlatısal bir açıklamaya sarılmış hâli ise iyileştirmedi — değerlendiriciler ret önerilerine orantısız biçimde uydu ve yanlış negatifleri artırdı (Lane vd., HBS Working Paper 25-001, 2024). Akıcı muhakeme, doğrulamanın yerini her iki yönde de alıyor. Bir insanı ve bir modeli seri bağlayın; her biri diğerinin metnini sorgulamaktan vazgeçen iki değerlendiriciniz olur.

Yapay zekâ işe alım önyargısı denetiminiz, örneklemeyi nereden yaptığınız için geçti

Bir strateji makalesini birinci çeyrek kararına çeviren kısım burası.

Eleme denetimlerinin çoğu, olumsuz etkiyi huninin en geniş noktasında okur; çünkü örneklem büyüklükleri orada rahattır ve veri zaten ölçümlenmiştir. Baskın önyargı mekanizması son sıranın bastırılmasıysa, metriğin en iyi görünüp en az şey ifade edeceği aşama tam olarak orasıdır.

İki bulgu daha noktayı keskinleştiriyor:

  • Tek bir sağlayıcı tarafından elenen 156 işverendeki dört milyondan fazla başvurunun denetimi, pozisyonların %10,62'sinin siyah başvurucular için EEOC'nin beşte dört kuralını geçemediğini buldu — sağlayıcı düzeyindeki adalet sertifikasyonunun yüzeye çıkarmadığı, pozisyon düzeyinde bir eşitsizlik (Stanford HAI, 2026).
  • Her adayın her işte eşit başarı olasılığına sahip olduğu 40 turlu bir işe alım simülasyonunda 15 model, uydurma demografik grupları iş nişlerine insan katılımcılardan yaklaşık %65 daha güçlü ayırdı; en güçlü muhakeme yapan modeller en çok ayrıştırdı (Princeton ve University of Chicago, ICML, 2026). Gruba göre toplam işe alım sayısı sabit kalabilirken altındaki rol dağılımı kalmaz.

Üç farklı mekanizma, tek bir ortak ders: ölçtüğünüz aşama ve ayrıntı düzeyi, denetiminizin neyi saptayabileceğini belirler. Kısa listede okunan temiz bir toplam sayı adil bir sürecin kanıtı değildir. İyi seçilmiş bir örnekleme noktasının kanıtıdır.

Dürüst karşı argüman

Diğer tarafta gerçek bir argüman var. Açıkça ayrımcı çıktıyı bastırmak değersiz değildir — eskiden rutin olan bir hukuki risk sınıfını ve bir aday zararı sınıfını ortadan kaldırır ve tarihsel önyargıyı açık biçimde yeniden üreten bir modele kıyasla gerçek bir iyileşmedir. Botelho ve Wang aksini iddia etmiyor.

İddia daha dar ve savuşturulması daha zor: ara bir aşamadaki bastırma, seçim üzerindeki ilerleme olarak sayılmamalı; çünkü çalışma ikisini de ölçtü ve yalnızca biri hareket etti. Adalet raporlamanız bu ikisini ayırt edemiyorsa, teklif verilerinizde bulunmayan bir kazanımı kaydeder. Ve çekince iki yönde de keser — bu, girişim sunumları üzerine hesaplamalı bir deney, özgeçmiş elemesi üzerine bir saha çalışması değil. Kendi huninize aktarım bir çıkarımdır. Makalenin savunduğu ölçüm disiplini, bir çıkarıma dayanarak benimsenecek kadar ucuzdur; alternatif, araştırmanın zaten iyileşeceğini öngördüğü bir metrik üzerinden bir süreci sertifikalandırmaktır.

Bu çeyrekte neyi değiştirmeli

Dört hamle, maliyetlerinin azlığı sırasına göre.

1. Metriği, ödülü taşıyan karara doğrultun. Gruba göre seçim oranlarını kısa listede değil teklif adımında hesaplayın. Yalnızca tek bir aşamayı düzgün ölçümleyecek bütçeniz varsa, sonuncusunu ölçümleyin. Eşitsizlik kısa listeden teklife dönüşümde oturuyorsa, kısa liste bileşimi hiçbir şeyin öncü göstergesi değildir.

2. Gruba ve role göre ölçün. Rol düzeyinde ayrışmayla birlikte giden toplam eşitlik, ICML simülasyonunun temiz veriden ürettiği hata biçimidir. Aylık, kohort bazında, pozisyon ailesi bazında.

3. Değerlendiriciyi kontrol olarak saymayı bırakın. 1,8'e karşı 3,2 sonucu, makul gerekçelerin makine incelemesinden sağ çıktığını gösterir; 228 değerlendiricili deney ise makine gerekçelerinin insan incelemesinden sağ çıktığını. Bir inceleme adımı, ancak inceleyen kişi metin yerine yapılandırılmış girdileri görüyorsa bir kontroldür — alt puan, bağlandığı beyan edilmiş gereklilik, adayın içinde bulunduğu kohort dağılımı ve işe alım başına kayda geçmiş bir insan kararı. Bir denetimin kararı sonradan yeniden kurmasını sağlayan şey bu dört kalemdir; Scovai'nin puanlama ve denetim konusundaki kurumsal duruşu bu temelde yayımlanmıştır: aritmetik gereklilik kapsaması ile ayrı ayrı etiketlenmiş model alt puanları arasındaki sabit 50/50 bölünme ve herhangi bir demografik niteliğin puanlama girdisi olarak dışlanması dâhil. Hangi yığını kullanıyorsanız, altı ay sonra neyi yeniden üretebileceğini sorun.

4. Açıklama sorusunu uygulama planına değil sözleşmeye yazın. Sağlayıcınızdan role ve aşamaya göre olumsuz etki açıklaması isteyin — kısa listeden teklife dönüşüm dâhil. Yanıt ya da reddetme, yıllık sertifikanın gerçekte neyi sertifikaladığını söyler.

Bunların hiçbiri yeni bir model, yeni bir sağlayıcı ya da bir çeşitlilik girişimi gerektirmiyor. Tek bir sorgunun huninin tepesinden dibine taşınmasını gerektiriyor.

Yapay zekâ işe alım önyargısı denetiminiz şu anda eleme aracınızın en iyi davrandığı aşamayı ölçüyor. Onu teklifin verildiği aşamaya taşıyın ve bu çeyrekte çeşitlilik sayılarınızın havuzunuzu mu örneklemenizi mi tasvir ettiğini öğrenin.

Ready to go beyond the CV?

Scovai's AI-powered Talent Passport reveals what resumes can't: personality, potential, and true job fit.