Scovai Scovai
Talent Intelligence 2026-11-14 1 min read

Yapay zekâ puanlayıcınız sıralama testini geçti ve kabul oranını yine de 17 puan abarttı

DSL

Dr. Sarah Liu

Yapay zekâ puanlayıcınız sıralama testini geçti ve kabul oranını yine de 17 puan abarttı

MIT'nin yeni denetimindeki bir hakemin dokuz puanlık ölçekte ortalama yanlılığı yalnızca +0,12 puandı — istatistiksel olarak tüm takımın en iyi konumlanmış puanlayıcısı. Ardından işin %78,4'ünün kabul edilebilir olduğunu bildirdi; aynı yanıtları değerlendiren, aynı mesleği yapan çalışanlar ise %61,1 dedi. Ortalama hatası neredeyse bulunmayan bir puanlayıcıdan 17,3 puanlık bir sapma (Lyu & Thompson, 2026).

Bu açık bir model kalitesi sorunu değil. Bir doğrulama sorunu — ve yapay zekâ puanlayıcınızı çoğu operasyon ekibinin seçtiği gibi seçtiyseniz, şu anda yığınınızda ölçülmeden duruyor.

Denetim ve onu alışılmadık kılan şey

MIT'den Harry Lyu ve Neil Thompson, mevcut bir çalışan değerlendirme külliyatından derlenmiş bir denetim takımı olan O*NET-BENCH'i kurdu — O*NET'ten türetilmiş iş görevlerine yapay zekânın verdiği yanıtlara ilişkin 45.796 değerlendirme; her biri deneyim beyan ettiği bir mesleği seçmiş ve sunulan işin buna uyduğunu doğrulamış ABD'li çalışanlardan toplandı (Mertens et al., 2026). Denetim için yeni insan verisi toplanmadı. Dondurulmuş çıkarım 18 Ağustos 2026 tarihli; değerlendirme, görev kimlikleri ve çalışanlar bölümler arasında ayrık olacak şekilde 4.501 değerlendirmelik bir ayrık test kümesi üzerinde yapıldı.

Yazarlar bu külliyat üzerinde altı model ailesine yayılan, önceden var olan 33 hakem yapılandırması çalıştırdı — Claude Haiku 4.5 ve Opus 4.7, GPT-5.4-mini, GPT-OSS-120B, DeepSeek-V4-Pro, Llama-3.3-70B, Qwen3.5-9B, LoRA kontrol noktaları dahil — örnekleri, noktasal ile listesel sunumu, rubrik iskelelerini, kod çözme ayarlarını, öz-tutarlılığı ve topluluk yöntemlerini değiştirerek.

Sayılardan önce akılda tutulacak bir uyarı: bu 33 kol birbiriyle ilişkili deney koşulları, 33 bağımsız yineleme değil ve çalışanlar kestirilen büyüklüktür, nesnel gerçek değil. Makale, mesleğinde deneyimli değerlendiricilerle uyumu ölçüyor; nesnel doğruluğu değil.

Her yapay zekâ puanlayıcısının geçtiği sıralama testi

İşte tanıdık gelmesi gereken kısım. 33 yapılandırmanın tamamı yanıtları rastgeleden iyi sıraladı — beraberlikleri hesaba katan çift doğruluğu için göreve göre kümelenmiş her aralık 0,5'i dışladı. Yirmi beş yapılandırma 0,60'ı aştı, ortanca 0,631 ve en güçlü neredeyse eksiksiz yapılandırma 0,658.

Tedarikçiniz size bir doğrulama sunumu gönderdiyse, içinde bunlar vardı: insan değerlendiricilerle korelasyon, ikili uyum, geri kazanılmış sıralamalar. Bu kanıtlarla bu hakemlerin çoğu amaca uygun görünüyor.

İki bulgu sunumu zorlaştırıyor. Birincisi, yalnızca yanıt üzerinde eğitilmiş bir TF–IDF taban çizgisi en güçlü hakeme neredeyse denk geliyor — yani sıralama sinyali yaygın ama sığ ve bir sıralama eşiğini aşmak, gelişmiş bir puanlayıcıyı kelime torbası regresyonundan neredeyse hiç ayırmıyor. İkincisi, kapsam tuzağı: Llama-3.3-70B, çalışanların karara bağladığı çiftlerin yalnızca %5,1'ini sıralıyor; ayırmayı reddettiği çiftler sayıldığında 0,631'lik koşullu doğruluk, beraberlik duyarlı 0,507'ye çöküyor. Bir hakem, neredeyse her şeyde çekimser kalarak saygın bir sıralama sayısı sergileyebilir.

Kabul oranı, şirketten gerçekten dışarı çıkan sayıdır

Eşik aslında ne anlama geliyor

Burada "kabul edilebilir"in ne demek olduğu üzerinde durmaya değer, çünkü aynı belirsizlik çoğu kurum içi kalite çıtasının içinde yaşıyor. Birincil hedef, dokuz puanlık ölçekte manager_accept idi ve kabul eşiği 7'ye ayarlanmıştı — 7 ise düzeltme gerektirmeden asgari ölçüde yeterli olarak tanımlanıyor, iyi olarak değil. Dokuz, düzeltmesiz üstün kalitedir. Dolayısıyla çalışanların %61,1'i, o meslekte deneyimli birinin olduğu gibi teslim edeceği yanıt payıdır ve bu, hâlâ teslim edilebilir sayılan en alt seviyededir. Kendi geçiş oranınız, aralarını ayıran yazılı bir tanım olmaksızın "idare eder" ile "mükemmel"i harmanlıyorsa, aynı sorun bir katman önce zaten var demektir ve hiçbir denetim onu sizin yerinize bulmaz.

Kabul rakamı ağırlıklandırmaya karşı da sağlam: çalışanların payı yanıt ağırlıklı %61,1, eşit görev ağırlıklarında %61,5, eşit meslek ağırlıklarında %61,6 ve hakemler arası %3,0–%97,9 aralığı esasen değişmiyor. Yayılım hakemlerin bir özelliği, toplulaştırmanın bir yan ürünü değil.

Hiç kimse bir yönetim kuruluna ikili doğruluk sunmaz. Sunulan bir orandır: şu pay elemeyi geçti, taleplerin şu payı kalite çıtasını tutturdu, rolün şu payı otomatikleştirilebilir.

Aynı 4.501 yanıt üzerinde 33 hakem, kabul paylarını %3,0 ile %97,9 arasında, ortanca %43,9 olarak tahmin etti; çalışanlarınki %61,1'di. Bu, gerçek bir değerin etrafındaki gürültü değil — içeri hangi sonuçla girdiyseniz onu destekleyecek kadar geniş bir aralık. 33 ortalama yanlılık aralığının tamamı sıfırı dışladı: 29'u çalışanların altında, dördü üstünde puanladı; ortanca yanlılık −1,18 puan. Claude Opus 4.7 −3,23 puandaydı; bu 1,7 çalışan standart sapmasına denk geliyor ve yanıtların %86'sında çalışanın altında puan verdi. −0,05 ortalama yanlılığa ve rekabetçi sıralamaya sahip TF–IDF kontrolü %43,5'te kaldı — ortalamayı tutturmak da oranı geri getirmiyor.

Ve keskin olan vaka, uslu olanı. Noktasal GPT-OSS-120B, takımdaki en küçük mutlak ortalama yanlılığa, +0,12 [0,01, 0,22] sahipti. Puan dağılımı sıkışmıştı — standart sapma oranı 0,83 — kütleyi tam kabul kesme noktasının çevresinde yoğunlaştırıyordu; orada küçük bir konum hatası, öğelerin büyük bir kısmını çizginin öbür tarafına geçiriyor. Böylece %61,1'e karşı %78,4.

Oranı belirleyen, ortalama hata değil, eşik çevresindeki yayılımdır. Ortalama yanlılığı birebir aynı olan iki puanlayıcı, puanlarının kesme noktasında ne kadar sıkı kümelendiğine bağlı olarak otuz puan farkla oran bildirebilir. Hiçbir sıralama ölçütü bunu yakalamaz. Ortalama yanlılık kontrolü de yakalamaz.

Kalibrasyon ortalamayı kaydırır, yerleşimi değil

Bariz çözüm kalibre etmek. Yazarlar bunu yaptı: göreve göre gruplanmış, beş katlı çapraz doğrulanmış izotonik kalibrasyon, neredeyse eksiksiz her yapılandırmada mutlak ortalama yanlılığı en çok 0,003'e indirdi. Konum hatası: çözüldü.

Hayatta kalan şey ise sorunun ta kendisi. Kalibre edilmiş puanlar, bireysel çalışan değerlendirmelerindeki varyansın en çok %8,5'ini açıkladı — en iyi çapraz doğrulanmış R² 0,085, artık standart sapma 1,85; çalışan değerlendirmelerinin standart sapması ise 1,94. Artık ortalama doğru, bireysel yerleşimler ise neredeyse eskisi kadar dağınık. Öz-tutarlılık ve topluluk yöntemleri de kurtarmadı: o yapılandırmalar yaklaşık −1,3 ila −1,5 puanlık ortalama yanlılıkları korudu. Tahmin destekli kestirim, incelenen etiket bütçelerinde en fazla küçük hassasiyet kazanımları sağladı.

Bir de, istemleri bir sıralama ölçütüne göre ayarlama alışkanlığını bitirmesi gereken sonuç var. İnce ayarlı bir soyda, noktasal puanlamadan paketlenmiş few-shot/listwise protokolüne geçmek, yanıt sıralamasını iyileştirirken görev ve meslek düzeyinde çalışan ortalamalarıyla uyumu düşürdü. Bu tersine dönüş, görev ve çalışan bakımından ayrık bir doğrulama bölümünde, önceden belirlenmiş ölçütlere göre yinelendi. Ölçtüğünüz ölçütü iyileştirmek, raporladığınız ölçütü bozdu.

Bariz itiraz: işin başına yine insan koyun

Haklı — ama insanlar da kendi kayması olan bir ölçektir. Ajanların yürüttüğü 2.611 mülakata ilişkin ayrı bir denetim, değerlendiriciler arasında 0,79 standart sapmalık bir katılık farkı buldu; süreç ortasında devreye giren daha katı bir değerlendirici, aslında hâlâ iyileşmekte olan ölçülmüş bir kalite eğilimini düzleştirdi (Liu Zhang & Esposito, 2026). İnsan incelemesi, yerine koyabileceğiniz kalibre edilmiş bir araç değildir; kalibre edilmemiş ikinci bir araçtır.

Dürüst okuma daha dar ve daha yararlı: iki ölçek de kendini doğrulamıyor ve yalnızca biri sürekli denetlenecek kadar ucuz. Ayrılmış 4.501 öğeyi her çeyrek bir hakeme yeniden geçirebilirsiniz. Değerlendiricilerinizi yeniden çalıştıramazsınız.

Açıkça söylenen bir kapsam sınırı, çünkü makale onu söylüyor: değerlendirilen öğeler, mesleki görevlere yapay zekânın ürettiği yanıtlardır ve yönetici kabulü açısından puanlanmıştır. Bu özgeçmiş eleme değildir ve işe alım üzerine bir saha deneyi değildir. Aktarılabilir iddia, LLM hakem puanlamasının bir özelliğidir — sıralama doğrulaması bir orana yetki vermez — işe alım sonuçları üzerinde ölçülmüş bir etki değil. Yine de operasyonel aciliyetini sağlayan şey, eşiklerin puanların karara dönüştüğü yer olması ve eşik hatalarının ayrımcı etkinin belirdiği yer olmasıdır: ticari işe alım araçlarına ilişkin bir denetim, pozisyon-model kombinasyonlarının %10,62'sinin EEOC'nin beşte dört kuralında başarısız olduğunu buldu (Stanford HAI, 2026).

Bir Head of Operations bu çeyrekte ne yapmalı

Getiri hızına göre sıralanmış üç hamle.

1. Bir puanın orana dönüştüğü her yeri envantere alın. Kısa liste kesme noktaları, QA geçiş oranları, ajan yükseltme kapıları, "bu rolün %x'i otomatikleştirilebilir" diyen her slayt. Her biri bir eşiktir. Her biri büyük olasılıkla sıralama kanıtına ya da bir tedarikçi kıyaslamasına göre seçilmiştir ve bu nedenle ürettiği büyüklük için hiç doğrulanmamıştır.

2. Sıralamaya karşı değil, kestirilen büyüklüğe karşı doğrulayın. Kendi deneyimli insanlarınızın hâlihazırda değerlendirdiği 300–500 öğeyi alın, puanlayıcıyı bunların üzerinde çalıştırın ve oranları karşılaştırın — insanlarınızın kabul ettiği pay ile puanlayıcının mevcut kesme noktanızda kabul ettiği pay. Bu iki sayı birkaç puandan fazla ayrışıyorsa, puanlayıcı ne kadar iyi korele olursa olsun kesme noktanız yanlış konumlanmıştır. Sonra yayılımı kontrol edin: puanlar eşiğin yarım puan içinde yığılıyorsa oran kararsızdır ve bir istem değişikliği onu yerinden oynatır.

3. Kararı tek bir harmanlanmış sayıya taşıtmayı bırakın. Ölçek körlüğüne karşı yapısal savunma, aritmetiği model yargısından ayrılabilir tutmaktır; böylece kayan bir hakem, bir toplamı sessizce çizginin öbür tarafına kaydırmak yerine görünür bir bileşeni hareket ettirir. Scovai'nin puanlama modeli sabit bir 50/50 ağırlık bütçesi üzerine kuruludur — yarısı rolün beyan edilmiş gereksinimlerinden aritmetik olarak hesaplanır, yarısı her biri kendi yazılı gerekçesiyle ayrı ayrı etiketlenmiş dört model alt puanı olarak döner; düzelticiler ±5 ile sınırlandırılır ve rol-kıdem kohortunun istatistiksel tabanının altındaki puanlar, işe alan uzmanın kendisinin kapatamayacağı bir insan incelemesine yönlendirilir. Bu yapı bir hakemi kalibre etmez. Kalibre olmayan bir hakemi görünür kılar ve eşiği, bir dağılımın yan ürünü olmaktan çıkarıp birinin sahiplendiği bir karar olarak tutar.

Savunmanız gereken çizgi

Makalenin kapanış talimatı, bir sonraki tedarikçi görüşmenize taşınacak olandır: bir yapay zekâ puanlayıcı, puanlarının kestirmek için kullanılacağı kabul oranlarına ve toplulaştırmalara karşı doğrulanmalıdır; yan ürün olarak ürettiği sıralamalara karşı değil. Korelasyon kalibrasyon değildir, kalibrasyon da yerleşim değildir. Denetimin Ek A'sı hakem doğrulaması için altı maddelik bir raporlama standardı ortaya koyuyor — bir tedarikçinin önüne koyup ne döneceğini izlemek için makul bir belge.

Yani bu çeyreğin somut kararı küçük ve rahatsız edici: operasyonunuzda en çok parayı hareket ettiren tek eşiği seçin — kısa liste kesmesi, QA geçiş çıtası, yükseltme kapısı — ve aynı öğeler üzerinde kendi insanlarınızın hangi oranı üreteceğini öğrenin. Bunu çeyrek sonuna kadar yanıtlayamıyorsanız, ölçülmüş bir süreç yürütmüyorsunuz demektir. Kimsenin kontrol etmediği bir sayıyı raporluyorsunuz.

Ready to go beyond the CV?

Scovai's AI-powered Talent Passport reveals what resumes can't: personality, potential, and true job fit.