Scovai Scovai
AI & Operations 2026-11-16 1 min read

Aynı 15 dakikalık yapay zekâ erişimi, eleme sonrasına kaydırıldığında ekiplere hiçbir şey kazandırmadı. On öncü model farkı göremedi.

DSL

Dr. Sarah Liu

Aynı 15 dakikalık yapay zekâ erişimi, eleme sonrasına kaydırıldığında ekiplere hiçbir şey kazandırmadı. On öncü model farkı göremedi.

Aynı model. Aynı on beş dakika. Aynı görev. Bu pencereyi saatin ilk yarısından ikinci yarısına kaydırın; uzmanlarca değerlendirilen yaratıcılık 0,62 standart sapma düşsün (Huang, Yu, Chen & Zhou, 2026). Araçta hiçbir şey değişmedi — yalnızca ekibin ona dokunmasına izin verilen an değişti. Bu bulgu, yapay zekâ erişiminin zamanlamasını ölçülebilir bir bedeli olan bir yapılandırma kararına dönüştürüyor ve çoğu şirkette bu, kimsenin almadığı bir karar: asistan yalnızca açık, her zaman, herkes için.

Çalışma, 148 üç kişilik ekibin (444 katılımcı) 40 dakikalık bir ürün tasarımı görevi boyunca aynı dil modeline erişim için beş farklı takvime rastgele atandığı, ön kayıtlı bir laboratuvar deneyi. Görev 15 dakikalık bir arama aşaması, 15 dakikalık bir seçim aşaması ve bir geliştirme aşamasından oluşuyordu. Karar kapısı — yazarlar buna the screen, eleme diyor — her koşulda 15. dakikaya denk geliyordu.

Deney aslında neyi kaydırdı

Beş koşul: asistan yalnızca arama sırasında, yalnızca seçim sırasında, baştan sona, hiç, ve arama sırasında aşırı güvene dair kalıcı bir uyarıyla birlikte. Platform her pencereyi zorunlu kıldı ve kaydedilen 2.124 sorgunun tamamı kendisine atanan pencerenin içine düştü. Asistan tek bir modeldi (DeepSeek V3.2), sıcaklık 0,1. Beş ila on yıl sektör deneyimine sahip dört değerlendirici her teslimi kör olarak puanladı.

Ana karşıtlık, arama aşamasındaki erişimle seçim aşamasındaki erişimi karşı karşıya getiriyor: puanlama ölçeğinde 0,356 puan, %95 GA [0,064, 0,648], Welch p = 0,018; yazarlar bunu 0,62 standart sapma olarak raporluyor. Sonuç, sekiz karşıtlığın tamamı üzerinde ön kayıtlı Benjamini-Hochberg düzeltmesinden sağ çıkıyor.

Yapay zekâsız kontrol grubuna karşı tablo keskinleşiyor:

KoşulYapay zekâsıza göre kazançp değeri
Arama sırasında erişim+0,486 puan0,002
Baştan sona erişim+0,479 puan0,002
Yalnızca seçim sırasında erişim+0,130 puan0,43

Bu tabloda iki şey ikinci bir okumayı hak ediyor. Birincisi, geç erişim ölçülebilir hiçbir kazanç üretmedi — ama ekipleri hiç yapay zekâ olmamasına kıyasla daha kötü de yapmadı. Yazarlar açık: bir ceza etkisine dair doğrudan kanıt bulmuyorlar; maliyet kaçırılmış bir primdir, bir hasar değil. İkincisi, arama aşamasındaki erişimin üstüne seçim aşamasında erişim eklemek hiçbir şey getirmedi: sürekli erişime karşı yalnızca-erken erişim −0,007 puan. Getirinin tamamı ilk penceredeydi.

Yapay zekâ erişiminin zamanlaması getiriyi neden belirliyor

Platform kayıtları mekanizmayı tam olarak yerine oturtuyor ve mesele çaba ya da kullanım oranları değil. Ekipler modeli bütün koşullarda benzer oranlarda kullandı.

Erken erişimli ekipler kapıya yazıya dökülmüş 19,8 ayrı fikirle geldi; yapay zekâsız ekiplerde bu sayı 3,9'du — beş kat daha büyük bir havuz. Bunun büyük kısmı makineden türemişti (18,6 fikir) ve ekiplerin kendi taslak fikirleri aslında 3,9'dan 1,3'e düştü. Asistan havuzu katlarken onların kendi fikir üretiminin bir bölümünü yerinden etti. Sonra budadılar: toplanan fikirlerin yaklaşık üçte biri (%32) teslimde yeniden göründü — yapay zekâsız ekiplerle aynı oran — ve teslimler 2,9 öneri taşıyordu.

Hikâyenin tamamı bu. Geniş bir havuz, ardından insan elinden bir eleme, ardından dar bir taahhüt.

Geç erişimli ekipler aynı kapıya 3,8 fikirle ulaştı — kontrol grubunun 3,9'uyla istatistiksel olarak özdeş, tam da rastgeleleştirmenin öngördüğü gibi. Sonra kendilerine model verildi ve onu seçim yapmak için kullanmadılar. Yeniden aramak için kullandılar. Pencere, sistem istemi ve model sabit tutulduğunda — geç erişime karşı sürekli erişim, yani temiz karşılaştırma — geç erişimli ekipler seçim aşamasındaki sorgularının %29'unu yeni seçenekler üretmeye ayırdı; asistanı arama sırasında zaten kullanmış ekiplerde bu oran %11.

Sonuç, neyin hayatta kaldığında görünüyor. Geç erişimli ekiplerin teslim ettiği metnin yalnızca %5'i kapıdan önce mevcuttu; yapay zekâsız ekiplerde bu oran %22, erken erişimli ekiplerde %71. Geç gelen seçenekler elenmiş kümeye eklenmedi. Onun yerini aldı. Cümle gömülmelerine dayalı benzerlik de aynı örüntüyü veriyor; yani bu, asistanın ekiplerin elindekini yeniden ifade etmesi değil.

Ekiple hiç buluşmayan seçenekler

Bir inceleme süreci yürüten herkes için bir ayrıntı dikkat çekici. Geç erişimli ekiplerde makineden türeyen malzeme, vakaların %9,6'sında takım arkadaşlarıyla hiç paylaşılmadan teslimlere girdi; erken erişimde bu oran %3,9. Yazarlar istek türünü sabit tuttuğunda iki koşul arasındaki farkların çoğu küçülüyor ve anlamlılığını yitiriyor — ama paylaşılmamış benimseme ayakta kalıyor. Bir görevin geç saatlerinde, karar askıdayken, çıktı ikinci bir çift gözden geçmeden doğrudan teslime gidiyor.

Bu, doğrulama vergisinin sahada ölçtüğü başarısızlığın aynısı: çalışanların %52'si meslektaşlarının ürettiği yapay zekâ üretimi işi düzenli olarak düzeltiyor ve %42'si yapay zekâ çıktısını doğrulamaya, onu kullanarak kazandığından daha fazla zaman harcıyor (Adaptavist, 2026). Elenmemiş çıktı yok olmuyor. Bir adım aşağıda başkasının eleme sorunu hâline geliyor.

Geç erişim genişlik satın aldı, genişlik ise kalite değil

Geç erişimli ekipler boş durmadı. Daha fazla ürettiler. Teslim başına öneri sayısı kontrol grubuna göre 1,53 arttı (SH 0,54, p = 0,005) — kontrol ortalaması olan 2,10 öneriye göre %73'lük bir artış ve erken erişimdeki artışın iki katı.

İnsan değerlendiriciler bunu ödüllendirmedi. Ekipler genelinde her ek öneri 0,179 puan daha düşük bir değerlendirmeyle ilişkiliydi. Daha fazla seçenek geldi ve seçenek başına kalite düştü; sabit bir geliştirme bütçesi daha fazla adaya yayıldığında beklenecek olan da budur.

Bir operasyon yöneticisi için sorunun şekli şu: geç yapay zekâ erişimi görünür çıktıyı güvenilir biçimde artırır ve değerlendirilen kaliteyi artırmakta aynı güvenilirlikle başarısız olur. Panonuz üretilen parçaları sayıyorsa, geç erişim bir zafer gibi görünür.

Dürüst itiraz: bu bulgunun içinde bir puanlama kuralı var

İtirazı yazarların kendisi yürütüyor ve bu, çalışmanın en faydalı kısmı. Genişliğe puan verin, hüküm değişsin.

Her ekibin puanına öneri başına γ puan ekleyin; erkenin geç üzerindeki üstünlüğü γ = 0'da 0,356'dan γ = 0,1'de 0,279'a, γ = 0,2'de 0,203'e (p = 0,076) düşer ve γ = 0,46'da tamamen kaybolur. Öneri başına yalnızca 0,1 puanlık bir karşılıkla geç erişim, yapay zekâsız kontrol grubunu geçer. Erken erişim ayrıca ortalama öneride 0,356, en iyi öneride 0,221 önde; toplamda ise tersine döner — geç erişimli ekipler daha çok puan toplar.

Dolayısıyla dürüst ifade koşulludur: ihtiyacınız tek bir güçlü taahhütse, asistanı ekibe elemeden önce verin. İhtiyacınız ileriye taşınacak geniş bir seçenek yelpazesiyse, geç erişim bir başarısızlık biçimi değildir. Hata, seçim yapmamaktır. Sürekli açık bir asistan bu parametreyi varsayılan olarak belirler ve taahhüt işi için pahalı olan, bu varsayılandır.

Bu çalışmanın her iç özetine üç sınırlama daha girmeli. Katılımcılar Çin'de 444 üniversite öğrencisiydi, yaş ortalaması 21,6; görev tek bir modelle 40 dakikalık yapılandırılmış bir çalışmaydı — yazarlar tasarımlarının "ortamın kapsamını temiz tanımlama uğruna takas ettiğini" açıkça belirtiyor. Tasarım d ≈ 0,74 için güçlendirilmişti ve g = 0,62 buldu; yani düzeltmeden sağ çıksa da dar aralıkta kestirilmiş bir etki değil. Ayrıca erken-karşı-geç karşılaştırması, yazarların açıkladığı bir istem karıştırıcısı taşıyor: sistem istemi aşamaya göre belirlenmişti, yani arama aşamasındaki asistana üretmesi, seçim aşamasındakine ise inceltmesi söylenmişti. İstemi, pencereyi ve modeli sabit tutan karşılaştırma, geç erişime karşı sürekli erişimdir — yani %29'a karşı %11 sonucu — ve aynı yönü gösterir.

Yapay zekâ değerlendiricinız bunu yakalamayacak

İşte bir görüşü değil bir süreci değiştirmesi gereken bulgu.

Her öneri ayrıca beş model ailesinden on öncü dil modeli tarafından, insan uzmanlarla aynı değerlendirme ölçütü kullanılarak puanlandı. Panel kendi içinde tutarlıydı ve ekip puanları insan panelinkiyle 0,61 düzeyinde ilişkiliydi. Yapay zekâ erişiminin brüt faydasını doğru biçimde saptadı; her erişim koşulunu kontrol grubunun 0,58 ila 1,41 standart sapma üzerine yerleştirdi.

Zamanlamanın bedelini ise hiç göremedi. Erken-karşı-geç karşıtlığı insan değerlendirmelerinde 0,59 standart sapma (p = 0,019), model panelinde −0,08 (p = 0,77). Asistana en yakın model dışlandığında −0,10'da kalıyor; her iki DeepSeek modeli de dışlandığında −0,08'de kalıyor, yani bu bir kendini kayırma değil. Körlük her boyutta ortaya çıkıyor — özgünlük, uygunluk, işleniş, metin kalitesi — insan uzmanların 0,5 ila 0,7 SD fark gördüğü yerlerde.

Açıklamanın bir kısmı mekanik. İnsan değerlendiriciler her ek öneri için 0,179 puan kırdı; model paneli 0,063 kırdı. Panel genişliği uzmanların fiyatladığı gibi fiyatlamadı ve genişlik, geç erişimin ürettiği şeyin ta kendisi.

Yazarların kendi cümlesi, bir yönlendirme toplantısına taşınacak olan: yapay zekâ destekli işi yapay zekâ hakemleriyle değerlendiren bir kuruluş "yardımın fayda sağladığını görecek, ama zamanlamasının önemli olduğunu görmeyecek".

Bu, tek bir ölçüte dair yalıtılmış bir sonuç değil. Değerlendirme katmanları kendi özellikleri olan ölçüm araçlarıdır ve kayarlar: etmen çıktısı incelemesine dair boylamsal bir çalışmada, mayısta katılan daha katı bir değerlendirici aynı partileri 0,79 SD daha düşük puanladı ve ham veride gerçek bir 0,53 SD'lik iyileşme eğilimini düzleştirdi (Etmen değerlendirmesinde değerlendirici etkileri, 2026). Hakeminiz ister insan olsun ister model, bir dağıtımı notlandırmasına izin vermeden önce bir şeye karşı kalibre edilmesi gerekir.

Yetkinlik tarafında da kayda değer bir koşutluk var. 133 patent avukatıyla yürütülen üç aylık rastgeleleştirilmiş bir denemede, yapay zekâ erişimi teslim edilen işin kalitesini 90. günde 0,38 SD yükseltti — ve araç geri alındığında korunan üstünlük 0,45 SD ile kıdemli avukatlarda yoğunlaştı, genç avukatlar ise ortalamada hiçbir kazanç göstermedi (Autor vd., NBER w35720, 2026). Teslim edilen kalite ile altta yatan muhakeme birbirinden ayrıldı. Zamanlama çalışması, aynı dersin bir üst katmandaki hâli: ürün yerinde görünüyor, oysa onu üretmesi gereken süreç hiç işlememiş.

Bir operasyon yöneticisi bu çeyrekte yapay zekâ erişiminin zamanlaması için ne yapmalı

Maliyet sırasına göre dört somut adım.

  1. Elemelerinizi bulun ve yazıya dökün. En kritik iki ya da üç yinelenen iş akışınız için, seçenek kümesinin kapandığı ve taahhüdün başladığı anı adlandırın. Çoğu ekip bu anı gösteremiyor ve erişimi yanlış zamanlamanın ön koşulu da bu.
  2. Her iş akışı için derinlik mi genişlik mi satın aldığınıza karar verin. Bu, γ sorusunun somutlaşmış hâli. Taahhüt işi — tek bir öneri, tek bir tedarikçi, tek bir plan — asistanı elemeden önce ister. Yelpaze işi ise sonrasında ister. Cevabı, sohbet penceresini açan kim olursa olsun ona bırakmak yerine iş akışı tanımına yazın.
  3. Eleme sonrası yapay zekâ kullanımını üretmeye değil geliştirmeye sınırlayın. %29'a karşı %11 farkı, ölçülebilir başarısızlıktır. Asistanın ilk katkısının zorunlu olarak geç geldiği yerlerde, geç çıktının zaten seçilmiş olanla elenmeden rekabet etmesi yerine onunla karşılaştırılmasını şart koşun.
  4. Bir hükme güvenmeden önce değerlendiricinizi doğrulayın. Bir partiyi hem otomatik hakeminizle hem de iki deneyimli insanla puanlayın ve yalnızca genel uyumu değil, gerçekten önemsediğiniz karşıtlıkları karşılaştırın. Düzeylerde 0,61 ilişki gösteren bir panel, önemli olan karşılaştırmada yine de −0,08 verebilir.

Üçüncü ve dördüncü maddeler eğitim değil yapılandırma sorunudur ve görev başına yönetişimin toptan bir politikayı yenmesinin nedeni budur. Bu iş bir belgede değil bir platformda gerçekleştiğinde, işe yarayan denetimler tekil eylem düzeyinde duranlardır: Scovai'nin Digital Employees çözümü varsayılan olarak confirm-first çalışır; özerklik, kayıt altındaki bir onay defterinden eylemin türüne göre kazanılır ve occupancy her pozisyon için ayrı belirlenir. Böylece "asistan seçilmiş bir seçeneği geliştirebilir ama kapıdan sonra yenisini açamaz" ifadesi, 22. dakikada kimsenin okumadığı bir el kitabı satırı değil, denetim izi bırakan zorunlu bir ayar hâline gelir.

Bunların hiçbirinin neyi gerektirmediğine dikkat edin. Yeni bir araç yok, yeni bir bütçe kalemi yok, model geçişi yok. Deney, şirketinizin zaten kazara belirlediği bir parametreyi değiştirdi — her gün, birinin sohbet penceresini açık tuttuğu her iş akışında.

Bu çeyrekteki en kritik yinelenen kararınızı seçin ve tek bir soru sorun: yapay zekâ elemeden önce mi geliyor, sonra mı? Kimse yanıtlayamıyorsa, yürüttüğünüz şey bir yapay zekâ pilotu değildir. Varsayılan olarak pahalı koşulu çalıştırıyorsunuzdur — ve onu bir yapay zekâ hakemi notlandırıyorsa, raporlarınızdaki hiçbir şey size bunu asla söylemeyecektir.

Ready to go beyond the CV?

Scovai's AI-powered Talent Passport reveals what resumes can't: personality, potential, and true job fit.