İki değerlendirici, üretimde çalışan aynı yapay zeka ajanının aynı partilerini puanladı ve bileşik kalite endeksinde 0,79 standart sapma farklı sonuç verdi. Aynı altı ayda kayda geçmiş tek bir dağıtımın ürettiği en büyük kalite hareketi 0,20 standart sapmaydı (Zhang & Esposito, 2026). Bu yapay zeka ajanı değerlendirmesindeki gürültü, tespit etmesi beklenen sinyalin kabaca dört katıydı. Mayısta rotasyona daha katı bir değerlendirici katıldığında şirketin ham kalite eğilimi düzleşti — ajan ise baştan beri iyileşiyordu.
Bu, özensiz değerlendiricilerle ilgili bir hikâye değil. Bir puan akışını, o puanların birbiriyle karşılaştırılabilir olup olmadığını hiç kontrol etmeden işletmenin sonucuyla ilgili bir hikâye.
Çalışma: 2.611 puanlanmış mülakat, 14 parti, üretimde tek ajan
Liu Zhang ve Mark Esposito, canlı iş mülakatları yürüten sesli ve görüntülü bir yapay zeka ajanı kullanan tek bir şirketi inceledi. Mart–Ağustos 2026 arasında şirketin kendi değerlendirme hattı, dokuz aileli bir rubriğe göre 14 partide 2.611 üretim kaydını puanladı; insan değerlendiriciler her partinin içinde kasıtlı olarak örtüştürüldü. Bu örtüşme yöntemin tamamıdır: bir değerlendiricinin ne kadar katı olduğunu, ajanın gerçekte ne kadar iyileştiğinden ayırmanın tek yolu budur (Zhang & Esposito, 2026).
Tasarım önemli, çünkü orta ölçekli şirketlerin operasyon ekiplerinin hâlihazırda yaptığını yansıtıyor. İki ya da üç kişi ajanın çıktısını bir rubriğe göre puanlar, puanlar bir panoya düşer ve biri eğriyi okur. Tek fark şu: ekiplerin çoğu değerlendiricilerini örtüştürmez — dolayısıyla iki etkiyi birbirinden ayırmanın hiçbir yolu yoktur.
Örtüşmenin ortaya çıkardığı şu.
Mayısta katılan bir eğitmen olan Değerlendirici B, aynı partileri Değerlendirici A'dan 0,79 standart sapma (SE 0,05) daha düşük puanladı. İkisinin de puanladığı dokuz partide fark her bir partide negatifti; aralık −0,90 ile −0,53 SS arasında, ters varyansla havuzlanmış fark −0,77 (SE 0,03). Heterojenlik testi tam sabitliği reddediyor (Q = 19,0, p = 0,01); yani sapma temiz bir sabit değil, bir yaklaşım — ama yön bir kez bile tersine dönmedi.
Değerlendirici etkisini çıkarın, tablo tersine döner. Örtük kalite endeksi 0,53 standart sapma yükseldi: 29 Mart'ta 0,05 SS'den 10 Ağustos'ta 0,58 SS'ye. İyileşme gerçekti. Düz çizgi ise kalemi kimin tuttuğunun bir yan ürünüydü. Örtük kritik hata oranı aynı hikâyeyi başka bir biçimde anlatıyor: Mart'ta %2,8; 9 Mayıs civarında %6,3 ile zirve; ardından istikrarlı düşüşle 10 Ağustos'ta %2,5 (Zhang & Esposito, 2026).
Değerlendirici farkı, ajanın yaptığı her şeyden büyüktü
Üç varyans bileşenini yan yana koyun, çünkü bulgu tam olarak bu sıralamadır:
- Değerlendirici sapması: 0,79 SS
- Mülakattan mülakata gürültü: 0,89 SS (vaka düzeyi)
- Partiler arası gerçek hareket: 0,20 SS
Üçü de aynı veri kümesinden (Zhang & Esposito, 2026). Ajan kalitesindeki gerçek hareket, sistemdeki en küçük terim. Değerlendirme tarafındaki bir personel değişikliği, tek başına, altı ayın gerçek iyileşmesini ham eğilimden silmeye yetti. Haziranda o panoya bakan bir ekip, ajanın platoya ulaştığı sonucuna varırdı — ve makul biçimde, işe yarayan bir dağıtımı geri alabilirdi.
Üzerinde durulmaya değer kısım bu. Ajan yönetişimi tartışmalarının çoğu ne kadar gözetim satın alınacağıyla ilgilidir. Bu sonuç, öncelikli sorunun şu olduğunu söylüyor: zaten satın aldığınız gözetim, zaman içinde birbiriyle karşılaştırılabilir sayılar üretiyor mu? Üretmiyorsa, daha fazlası hacim ekler, bilgi eklemez.
Rubrikte daha katı, kesin engelde daha hoşgörülü
Verinin içindeki tersine dönüş, ajan kalite güvencesi yürüten herkesi rahatsız etmesi gereken ayrıntı. Bileşik endekste 0,79 SS daha sert puanlayan aynı Değerlendirici B, kritik hataları %2,0 ile işaretledi; Değerlendirici A ise %5,0 — parti içinde ters yönde −2,2 puanlık bir fark (Zhang & Esposito, 2026).
Katılık tek bir düğme değildir. Bir değerlendirici puanlanan maddelerde sert, bir dağıtımı gerçekten durduran ikili ölçütte yumuşak olabilir. Yani değerlendiricilerinizi rubrik puanı üzerinden kalibre etmek, neyin kabul edilemez olduğunda anlaştıklarına dair hiçbir şey söylemez. Bunlar iki ayrı kalibrasyon sorunudur ve neredeyse hiçbir KG süreci onları böyle ele almaz.
Değerlendirmenizin bir raf ömrü var ve dürüst cevap "bir ile yirmi bir hafta arası"
Makalenin ikinci yarısı kanıtın üzerine bir saat koyuyor. Kayıtlı dağıtımlar arasındaki açıklanamayan hareket oranı tahmin edildiğinde, endeksteki öngörü belirsizliği dört hafta sonra 0,18 SS'ye, sekiz hafta sonra 0,25'e ve on iki hafta sonra 0,30'a ulaşıyor. Gözlenen en büyük dağıtım farkının — 12 Nisan'daki 0,20 SS'lik değişimin — büyüklüğüne, nokta tahminde yaklaşık beş hafta sonra, havuzlanmış oranda altı hafta sonra ulaşıyor.
Ve sonra yazarlar bu makaleyi kullanılabilir kılan şeyi yapıyorlar: aralığı bildiriyorlar. Kayma oranının %95 aralığında bu ufuk 1 ile 21 hafta arasında değişiyor. On dört parti bir varyansı gevşek biçimde tanımlar ve tahmin, az sayıda basamak benzeri değişim tarafından sürüklenir.
Beş haftayı aralığı olmadan alıntılamayın. Genişlik bulgunun kendisidir. Şunu söylüyor: şu anda hiç kimse — yazarlar dahil — bir ajan değerlendirmesinin ne kadar hızlı bayatladığını bilmiyor; ve üç aylık bir onay, alt sınırı bir haftaya kadar inen bir aralığın iyimser ucuna oynanan bir bahistir.
Bağımsız bir sinyal, düzeltilmiş endeksle aynı yönde hareket etti: mülakatla ilgili destek talepleri, teknik sorun taleplerine kıyasla ayda yaklaşık %10 düştü. Bu, değerlendirme hattının kontrol etmediği bir sonuçtan gelen doğrulamadır ve bir rubrik daha eklemekten değerlidir.
Karşı argüman, düzgün biçimde
Bu tek bir dağıtım. Bir şirket, bir ajan, on dört parti, akran değerlendirmesinden geçmemiş ön nitelikte bir çalışma metni. Yazarlar açık: "Bu veriler, değerlendirmenin performans üzerindeki nedensel etkisini tanımlamıyor." Burada hiçbir şey, bir değerlendirme programı yürütmenin ajanı daha iyi yaptığını göstermiyor.
Dolayısıyla bulgu başlıktan daha dar, tek bir vakadan daha dayanıklı. İddia "değerlendirme ajanları iyileştirir" değil. İddia şu: değerlendirici katılığı kontrol edilmemiş bir puan akışı, gerçek bir eğilimin işaretini tersine çevirebilir — ve bu, ölçmenin bir özelliğidir, bu şirketin özelliği değil.
Refleks yanıt değerlendirici eklemektir. Teori orada da dikkatli olmayı söylüyor: daha güçlü denetim bazı ihlalleri caydırır ama yine de ihlal eden ajanlarda gizlemeyi artırır; böylece denetim hacmi yükselirken yakalama oranı düşebilir (Gans & Holden, NBER, 2026). Her iki literatürde de gözetim tasarımı, gözetim hacmini yener. İnsanın nerede durduğu, güvenlik değişkeni olduğu kadar bir verim değişkenidir — planlanmış ara onay noktaları, yalnızca sonda onaylamaya kıyasla görev tamamlama süresini %13,54 düşürdü ve katılımcıların %81'i bunu tercih etti (Zhou et al., CHI 2026).
Ve bu, bekleyip geçiştirebileceğiniz geçici bir sorun değil. 101 ajanik görevi sıralayan 300 teknoloji yöneticisi ve uygulayıcısıyla yapılan bir araştırmada, %59'u zaten kalıcı insan gözetimi planlıyor; belirtilen kaygılar hesap verebilirlik (%48) ve halüsinasyonlar (%47) (MIT Technology Review Insights, 2026). İnsan inceleme katmanı kalıcıysa, ürettiği puan akışı da kalıcı altyapıdır — ve kimse ona böyle davranmıyor.
Bir sonraki dağıtımdan önce yapay zeka ajanı değerlendirmenizde neyi düzeltmeli
Dört değişiklik, maliyet sırasıyla. İlk ikisi neredeyse bedava ve doğrudan makalenin yönteminden çıkıyor.
1. Değerlendiricileri her partinin içinde örtüştürün. En az iki kişi, aynı dönemde aynı maddelerin paylaşılan bir altkümesini puanlasın. Katılığı gerçek hareketten ayrılabilir kılan tek alışkanlık budur; o olmadan çizdiğiniz her eğilim çizgisi ikisini birbirine karıştırır. Maliyeti bir örneklemde çifte puanlamadır, ikinci bir kadro değil.
2. Kritik hata işaretini rubrik puanından ayrı kalibre edin. Burada ters yönde 2,2 puan farklılaştılar. Bileşik bir sayıda anlaşmak, neyin bir sürümü durdurduğunda anlaşmak değildir.
3. Takvimde değil, dağıtımlarda yeniden değerlendirin. Kanıtın güncelliği, ölçmediğiniz bir hızda bozulur. Değerlendirmeyi değişiklik günlüğüne bağlayın — kayda geçen her dağıtım yeni bir okuma alır — faydalı ufku belki dört hafta önce geçmiş bir üç aylık inceleme tarihine değil.
4. Değerlendirmenin kontrol etmediği bir operasyonel sonuçla doğrulayın. Talepler, eskalasyonlar, yeniden işleme oranı, işlem süresi. Rubrik hareket ediyor ama sonuç etmiyorsa, sonuca güvenin.
Bunun soyut bir ölçme kaygısı olmamasının nedeni: bir ajanın kendi sicilinden özerklik kazandığı herhangi bir yönetişim modelinde, puan akışı bir kontrol yüzeyidir. Özerklik, temiz onaylardan oluşan hesaplanmış bir kayıttan eylem türü başına genişliyorsa ya da bir pozisyon süpervizörün dönemsel skorkartıyla kapatılıyorsa, değerlendirici kayması yalnızca bir panoyu yanıltmaz — bir dijital çalışanın ne kadar hareket alanı alacağına ve bir insanın döngüde kalıp kalmayacağına karar verir. Bu zincirin açıkça yazıldığı yerde — varsayılan olarak önce onay, eylem türü başına verilen özerklik, her pozisyonun üstünde adıyla belirli bir süpervizör; Scovai'nin Digital Employee modelinde olduğu gibi — bağımlılık en azından görünürdür. Yazılmadığı yerde, alttaki puanların karşılaştırılabilirliği sessizce bir analitik sorusu olmaktan çıkıp bir hesap verebilirlik sorusuna dönüşmüştür.
Bu çeyreğin kararı
Yeni bir araca, yeni bir sağlayıcıya ya da daha büyük bir inceleme bütçesine ihtiyacınız yok. Yapay zeka ajanı değerlendirmenizdeki son dört puanın aynı standartla üretilip üretilmediğini bilmeye ihtiyacınız var — ve şu anda, neredeyse kesinlikle, bunu söyleyemezsiniz. Süreç kötü olduğu için değil; içindeki hiçbir şey bu soruyu yanıtlamak üzere tasarlanmadığı için.
O yüzden onu yanıtlayan en küçük sürümü seçin. Bu çeyrekte, ikinci bir değerlendiriciye, ana değerlendiricinizin zaten puanladığı maddelerin %10'unu aynı parti içinde, bağımsız ve kör biçimde puanlatın. İki dağılımı karşılaştırın, sonra bu farkı yukarıya raporladığınız hareketle karşılaştırın. Fark sinyalin büyüklüğüne yaklaşıyorsa, ajan kalite eğiliminiz vardiya çizelgenizi ölçüyordu.
Maliyet birkaç saatlik çifte puanlama. Alternatif, birisi izne çıktığında birimleri değişen bir sayı üzerinden özerklik, geri alma ve kadro kararları vermeye devam etmek.
İncelemeye güvenmeden önce değerlendiriciyi ölçün.