Scovai Scovai
AI & Operations 2026-11-05 1 min read

Bir yapay zekânın avatarının değerlendirmelerini değiştirip değiştirmediği sorulduğunda 34 çalışandan 30'u hayır dedi. Ödemeleri evet dedi.

DSL

Dr. Sarah Liu

Bir yapay zekânın avatarının değerlendirmelerini değiştirip değiştirmediği sorulduğunda 34 çalışandan 30'u hayır dedi. Ödemeleri evet dedi.

Üç yapay zekâ asistanı 189 bilgi çalışanına aynı yanıtları verdi. Çalışanlar onlara farklı tutarlar ödedi. NordiCHI '26 bildirilerinde yayımlanan bir sanal gerçeklik ofis deneyinde katılımcılar, erkek sunumlu bir asistana ortalama 2,96 CHF gerçek para verirken, işlevsel olarak birebir aynı olan kadın sunumlu asistana 2,54 CHF verdi — p = .026 (Cuber et al., NordiCHI '26, 2026). Sunumun değerlendirmelerini değiştirip değiştirmediği sorulduğunda ise görüşülen 34 kişiden 30'u hayır yanıtını verdi.

Yapay zekâ ajanı değerlendirmenizde de aynı kör nokta var. Kullandığınız her pilot karne, her güven anketi ve her benimseme panosu, burada yanlış çıkan türden yanıtları topluyor — hem de bu çalışmanın gerçekten para hareket ettirdiğini gösterdiği tek değişken hakkında.

Deney, yeteneği bilinçli olarak sabit tuttu

Sonucu yalnızca ilginç değil, kullanılabilir kılan tasarım ayrıntısı tam da budur.

2 Ekim 2026'da yayımlanan çalışma, 189 katılımcısının (191 kişi davet edildi, asistan yanıt hatası nedeniyle 2 kişi çıkarıldı) her birine sanal gerçeklik ofisinde üç asistanla görev yaptırdı: bir metin sohbet robotu, bir masa robotu ve "Johan" ya da "Johanna" olarak sunulan insan benzeri bir sesli ajan. Asistanlar işlevsel olarak birebir aynıydı — aynı temel sistem, aynı yanıtlar, aynı iş kalitesi. Bedenlenme denekler içinde, cinsiyet sunumu denekler arasında değişiyordu. Ardından katılımcılar asistana 4 CHF'ye kadar gerçek para ayırdı ve verdikleri her frank kendi kazançlarından düşüyordu.

Böylece deney, yöneticilerin ilk başvurduğu açıklamayı devre dışı bıraktı. İnsan benzeri ajana daha iyi iş yaptığı için fazla ödeme yapan olmadı; o da aynı işi yaptı. Değişen tek şey, nasıl göründüğü ve nasıl duyulduğuydu.

Bedenlenme etkisi cinsiyet etkisinden daha büyük ve istatistiksel olarak çok daha sağlamdı: insan benzeri ajan 2,76 CHF (SS 1,18), robot ise 1,98 CHF (SS 1,26) aldı; W = 1511,5, p < .001, etki büyüklüğü r = .44. Yalın metin sohbet robotu 1,75 CHF ile sonda kaldı. 4 CHF'lik bir üst sınırda, insan benzeri sunum, fazladan hiçbir şey üretmeden başkalarının parasından yaklaşık 0,8 CHF değerindeydi.

Cinsiyete ilişkin bulgu, manşetlerden daha dar

Burada kesinlik gerekiyor, çünkü ikincil haberler kesin değildi. Cinsiyet sunumu ödülü (2,96'ya karşı 2,54, p = .026) ve algılanan insan benzerliğini (Johan için 5,09, Johanna için 4,59, p = .029) hareket ettirdi. Güvende (5,58'e karşı 5,25, p = .065) ve başarı atfında (5,24'e karşı 5,05, p = .164) ise anlamlılığa ulaşmadı.

Dolayısıyla dürüst iddia, parasal değerleme ve algılanan insan benzerliğiyle ilgilidir — güvenle değil. Bu çalışmaya atfedilen "kadın yapay zekâ ajanlarına daha az güveniliyor" gibi bir ifade görürseniz, bulgu bu değildir. Ayrıca bu araştırmaya ilişkin derlemelerde dolaşan düzgün bir "%10,25" göreceksiniz: bu sayı bir üniversite basın bülteninden gelmektedir, makalenin hiçbir yerinde yer almaz ve bildirilen ortalamalardan geri üretilemez. Ortalamaları aktarın.

Not edilmeye değer bir düzenleyici etki: insan benzerliğinin robota üstünlüğü kadın katılımcılarda erkeklerden daha güçlüydü (etkileşim beta = 1,074, z = 3,73, p < .001). Persona etkisi iş gücünüz boyunca tek biçimli değildir; yani bir ekip anketinin ortalamasında sönümlenmeyecektir.

Söyledikleri ile ödedikleri farklı sayılardı

Görüşme bulgusu, operasyonel bir karara en kısa yoldan ulaşan bulgudur. Otuz dört katılımcıdan otuzu, cinsiyet sunumunun güvenleri veya ödülleri bakımından önemsiz olduğunu belirtti. Gerçek parayla yaptıkları kendi tahsisleri ise onları yanıltmakla kalmadı, doğrudan çürüttü.

Bu, beyan edilen tercih ile açığa çıkan tercih arasındaki ders kitabı niteliğinde bir açıktır ve insanların yalan söylemesiyle ilgili değildi. Kimseyi aldatmak için özel bir nedenleri ya da bariz bir teşvikleri yoktu. Yalnızca kendi yargılarını neyin yönlendirdiğine güvenilir biçimde erişimleri yoktu.

Sonuç nettir: ekibinize ajan tasarımını sormak, kanıtlanmış hiçbir öngörü değeri olmayan veri üretir. Bu çalışmada öz bildirim, davranışı ölçülebilir biçimde hareket ettiren tek değişkende yanlış yönü gösterdi.

Yapay zekâ ajanı değerlendirmeniz kısmen personayı ölçüyor

Bunu orta ölçekli bir şirketin operasyon gözden geçirmesine taşıyın; sorun artık avatarlarla ilgili olmaktan çıkar.

İki farklı işlevde iki ajanı pilot uyguluyorsunuz. Biri adı ve yüzü olan, özenle tasarlanmış bir sesli arayüz; diğeri bir talep kuyruğuna metin döndüren işlevsel bir araç. Çeyrek sonunda memnuniyet puanlarını, algılanan faydayı, ekibin kullanmayı sürdürme isteğini ve koltuğu genişletme taleplerini karşılaştırıyorsunuz. Sonra kazanana bütçe ayırıyorsunuz.

Bu çalışmanın söylediği şu: o farkın bilinmeyen bir kısmı bedenlenmedir, performans değil. Kontrolsüz bir karşılaştırma yaptınız ve sonucu bir yetenek sinyali olarak okudunuz. Bütçe alan ajan, yalnızca daha iyi sunulmuş olan olabilir.

Bu hata biçimi belirli bir şekilde katmerlenir. Sunumu değiştirmek ucuz, yeteneği değiştirmek pahalıdır; bu yüzden bir tedarikçi — ya da benimseme metriklerini optimize eden bir iç ekip — personayı iyileştirmeyi işi iyileştirmekten daima daha kolay bulacaktır. Karneniz bu ikisini ayırt edemiyorsa ucuz olanı ödüllendirmeyi sürdürecek ve ölçüm sisteminiz sessizce gerçek kalitenin aleyhine seçim yapmaya başlamış olacaktır.

Bu, ajan araştırmalarının başka yerlerinde de görülen bir örüntünün daha keskin bir sürümüdür. 300 teknoloji yöneticisi ve uygulayıcısı arasında 101 ajansal görevi sıralayan 2026 Agent Confidence Index, güvenin model yeteneğinden ziyade görevin doğrulanabilirliğini ve iş bağlamının eksiksizliğini izlediğini buldu: otomatik rapor üretimi 83,5 ve kalıp kod 82,5 puan aldı — ikisi de tek bir nesnel değerlendirme ölçütüne sahip — oysa aynı temel modeller üzerinde service mesh yapılandırması 37,5'te kaldı (MIT Technology Review Insights, 2026; Microsoft, 2026). Temiz bir başarı ölçütünün bulunmadığı yerde boşluğu insan yargısı doldurur — ve sanal gerçeklik çalışması, bu yargının tutunacak sağlam bir şey bulamadığında neye yapıştığını gösteriyor.

Çalışmanın göstermedikleri

Üç sınır, açıkça belirtiliyor; çünkü bu kadar elverişli bir argüman bunu hak ediyor.

Kurgulanmış bir görevle sanal gerçeklik ortamıydı; gerçek sonuçları olan bir iş akışı içinde canlı bir ajan dağıtımı değildi. Riskler küçük ve tek seferlikti: en fazla 4 İsviçre frangı, bir kez tahsis edilen; sonuçtan sorumlu birinin aldığı yinelenen bir bütçe kararı değil. Ayrıca cinsiyet sunumuna göre güven ve başarı atfı farkları anlamlılığa ulaşmadı; dolayısıyla etki, üstünkörü bir okumanın düşündürdüğünden daha dardır.

Bu çekincelerden sağ çıkan şey yapısal noktadır ve eksiksiz sağ çıkar: yetenek tasarım gereği sabit tutulmuşken sunum yine de parasal değerlemeyi hareket ettirdi ve öz bildirim bunu öngöremedi. Harekete geçmek için etki büyüklüğünün bir sanal gerçeklik laboratuvarından operasyon sahanıza taşınması gerekmiyor. Yalnızca personanın değerlendirmenizde etkin bir değişken olduğunu ve şu anda onu kontrol etmediğinizi kabul etmeniz yeterli.

Yanlış şeyi ölçmenin maliyeti

Önemsemenin gerekçesi bütçeseldir, etik değil.

McKinsey QuantumBlack'in Ağustos 2026 tarihli ajansal ekonomi çalışması, bankacılıkta müşteri hizmetleri görevi yapan bir ajan için token maliyetlerinin değişken işletme maliyetlerinin sıklıkla yalnızca yüzde 20 ila 25'ini oluşturduğunu, buna karşılık insan gözetiminin yüzde 70 ila 75'ini oluşturduğunu buldu (McKinsey QuantumBlack, 2026). Gözetim — belirli bir ajanın ne kadar insan incelemesine, kim tarafından, hangi sıklıkta ihtiyaç duyduğu — baskın maliyet kalemidir.

Bu tahsisi, tam da bu çalışmanın kirlenmiş olduğunu gösterdiği yargı belirler. Bir ajanın güvenilir olduğuna karar verirseniz gözetimi kısar, özerkliğini genişletirsiniz. Güvenilmez bulursanız her çalıştırmada bir denetçi tutarsınız. Bu güvenin bir kısmı arayüzün ne kadar insani göründüğünü izliyorsa, sevimli ajanı eksik, işe yarar ajanı fazla denetleyeceksiniz — ve yığının en büyük maliyet kaleminde yanılacaksınız.

Bir sonraki ajan gözden geçirmesinden önce ne yapmalı

Dört değişiklik; hepsi bu çeyrekte yapılabilir ve hiçbiri yeni araç gerektirmiyor.

Karşılaştırmayı düşündüğünüz her şeyde sunumu sabit tutun. İki ajan birbirine karşı değerlendiriliyorsa onlara aynı arayüz kipini verin; ya da karşılaştırmanın karıştırılmış olduğunu kabul edip onu bir performans sonucu olarak raporlamaktan vazgeçin.

Ekibe ajan tasarımını anket yapmayı bırakın. Otuz dört katılımcıdan otuzu kendi davranışını yanlış tahmin etti. Bunun yerine belirli, gözlemlenebilir olayları sorun: ajan ne üretti, neyi düzeltmek zorunda kaldınız, düzeltme ne kadar sürdü, neyi üst makama taşıdınız. Bu yanıtlar doğrulanabilir.

Duyguyu değil davranışı ölçün. İncelemede yakalanan hata oranları, yeniden iş hacmi, üst makama taşıma sıklığı, çıktıdan kabul edilen teslime kadar geçen süre. Bunların hepsi, ajanın bir yüzü olup olmadığına kayıtsızdır.

Üç aylık ajan gözden geçirmesini nicel ve imzalı hale getirin. Ajan, insanlara haklı olarak uygulanan hakkaniyet kısıtları olmaksızın tümüyle sayılarla değerlendirebileceğiniz tek öznedir: adı belirtilmiş bir süpervizör tarafından yazılı bir sonuçla kapatılan periyodik bir karne, bir Digital Employee için, insan bir çalışan için olabileceğinden çok daha savunulabilirdir — Scovai'nin Digital Employee koltuklarının duygu anketiyle değil bu şekilde gözden geçirilmesinin nedeni de budur. Hangi sistemi kullanırsanız kullanın, gereklilik aynıdır: adı belirtilmiş sorumlu bir insan, sabit bir ölçü kümesi ve yazıya geçirilmiş bir karar.

Yapay zekâ ajanı değerlendirmenizin geçerli olup olmadığının testi tek bir sorudur ve bugün yanıtlayabilirsiniz: geçen çeyrek bütçe ayırdığınız ajan farklı bir sesle ve adsız gelmiş olsaydı, karneniz aynı sayıyı üretir miydi? Evet diyemiyorsanız, ölçtüğünüz şey avatardı.

Ready to go beyond the CV?

Scovai's AI-powered Talent Passport reveals what resumes can't: personality, potential, and true job fit.