Scovai Scovai
AI & Operations 2026-11-05 1 min read

यह पूछने पर कि क्या किसी AI का अवतार उनके आँकलन को बदलता है, 34 में से 30 कर्मचारियों ने कहा नहीं। उनके भुगतान ने कहा हाँ।

DSL

Dr. Sarah Liu

यह पूछने पर कि क्या किसी AI का अवतार उनके आँकलन को बदलता है, 34 में से 30 कर्मचारियों ने कहा नहीं। उनके भुगतान ने कहा हाँ।

तीन AI सहायकों ने 189 ज्ञान-कर्मियों को एक ही जैसे उत्तर दिए। कर्मियों ने उन्हें अलग-अलग राशि चुकाई। NordiCHI '26 की कार्यवाही में प्रकाशित एक वर्चुअल-रिऐलिटी कार्यालय प्रयोग में प्रतिभागियों ने पुरुष-प्रस्तुति वाले सहायक को औसतन 2.96 स्विस फ़्रैंक वास्तविक धन दिया, जबकि कार्यात्मक रूप से बिल्कुल वैसे ही स्त्री-प्रस्तुति वाले सहायक को 2.54 फ़्रैंक — p = .026 (Cuber et al., NordiCHI '26, 2026)। और जब पूछा गया कि क्या प्रस्तुति ने उनके आँकलन को बदला, तो 34 में से 30 साक्षात्कार-प्रतिभागियों ने कहा नहीं।

आपके AI एजेंट मूल्यांकन में भी यही अंधा कोना है। आप जो भी पायलट स्कोरकार्ड, भरोसे का सर्वे और अपनाने का डैशबोर्ड चलाते हैं, वह ठीक उसी किस्म का उत्तर इकट्ठा करता है जो यहाँ ग़लत साबित हुआ — और वह भी उस एक चर के बारे में, जिसके बारे में यह अध्ययन दिखाता है कि उसने वास्तव में पैसा हिलाया।

प्रयोग ने क्षमता को जानबूझकर स्थिर रखा

डिज़ाइन का यही ब्योरा परिणाम को केवल दिलचस्प नहीं, बल्कि उपयोग-योग्य बनाता है।

2 अक्टूबर 2026 को प्रकाशित इस अध्ययन में इसके 189 प्रतिभागियों (191 भर्ती किए गए, सहायक की प्रतिक्रिया-विफलता के कारण 2 बाहर किए गए) में से हर एक ने वर्चुअल-रिऐलिटी कार्यालय में तीन सहायकों के साथ कार्य पूरे किए: एक टेक्स्ट चैटबॉट, एक डेस्क रोबोट, और एक मानव-जैसा वाक् एजेंट जिसे "योहान" या "योहाना" के रूप में प्रस्तुत किया गया। सहायक कार्यात्मक रूप से एक जैसे थे — वही अंतर्निहित प्रणाली, वही उत्तर, वही कार्य-गुणवत्ता। मूर्त-रूप प्रतिभागी के भीतर बदला, लिंग-प्रस्तुति प्रतिभागियों के बीच। इसके बाद प्रतिभागियों ने सहायक को 4 फ़्रैंक तक वास्तविक धन आवंटित किया, और दिया गया हर फ़्रैंक उनके अपने पारिश्रमिक से घटता था।

इस तरह प्रयोग ने वह व्याख्या हटा दी जिसकी ओर प्रबंधक सबसे पहले बढ़ते हैं। किसी ने मानव-जैसे एजेंट को इसलिए अधिक नहीं चुकाया कि उसने बेहतर काम किया — उसने वही काम किया। बदला केवल यह कि वह कैसा दिखता और सुनाई देता था।

मूर्त-रूप का प्रभाव लिंग-प्रभाव से बड़ा और सांख्यिकीय रूप से कहीं अधिक मज़बूत था: मानव-जैसे एजेंट को 2.76 फ़्रैंक (मानक विचलन 1.18) मिले, रोबोट को 1.98 फ़्रैंक (मानक विचलन 1.26), W = 1511.5, p < .001, प्रभाव-आकार r = .44। सादा टेक्स्ट चैटबॉट 1.75 फ़्रैंक के साथ अंत में रहा। 4 फ़्रैंक की सीमा पर, मानव-जैसी प्रस्तुति कुछ भी अतिरिक्त उत्पादित किए बिना दूसरों के लगभग 0.8 फ़्रैंक के बराबर थी।

लिंग से जुड़ा निष्कर्ष सुर्खियों से अधिक संकुचित है

यहाँ परिशुद्धता आवश्यक है, क्योंकि गौण कवरेज में वह नहीं रही। लिंग-प्रस्तुति ने पुरस्कार (2.96 बनाम 2.54, p = .026) और कथित मानव-सादृश्य (योहान के लिए 5.09 बनाम योहाना के लिए 4.59, p = .029) को हिलाया। भरोसे (5.58 बनाम 5.25, p = .065) और श्रेय-आरोपण (5.24 बनाम 5.05, p = .164) पर इसने सार्थकता प्राप्त नहीं की।

अतः ईमानदार दावा मौद्रिक मूल्यांकन और कथित मानव-सादृश्य से संबंधित है — भरोसे से नहीं। यदि आप इस अध्ययन के नाम पर यह दावा देखें कि "स्त्री AI एजेंटों पर कम भरोसा किया जाता है", तो उसने यह नहीं पाया। आपको इस शोध की रिपोर्टों में घूमता एक सुव्यवस्थित "10.25%" भी दिखेगा: वह किसी विश्वविद्यालय की प्रेस विज्ञप्ति से आता है, शोध-पत्र में कहीं नहीं मिलता, और प्रकाशित औसतों से पुनर्प्राप्त नहीं किया जा सकता। औसतों का हवाला दें।

एक नियंत्रक प्रभाव उल्लेखनीय है: रोबोट पर मानव-सादृश्य की बढ़त पुरुष प्रतिभागियों की तुलना में महिला प्रतिभागियों में अधिक प्रबल रही (अंतःक्रिया बीटा = 1.074, z = 3.73, p < .001)। पर्सोना-प्रभाव आपके कार्यबल में एकरूप नहीं है, अर्थात यह किसी टीम-सर्वे के औसत में संतुलित नहीं होगा।

उन्होंने जो कहा और जो चुकाया, वे अलग संख्याएँ थीं

साक्षात्कार का निष्कर्ष परिचालन निर्णय तक सबसे छोटा रास्ता रखता है। चौंतीस में से तीस प्रतिभागियों ने कहा कि उनके भरोसे या पुरस्कार के लिए लिंग-प्रस्तुति अप्रासंगिक है। वास्तविक धन से किए गए उनके अपने आवंटनों ने उन्हें ग़लत ठहराया।

यह घोषित और प्रकट अधिमान के बीच पाठ्यपुस्तक जैसा अंतर है, और यह झूठ बोलने का मामला नहीं था। इन लोगों के पास किसी को धोखा देने का कोई विशेष कारण या स्पष्ट प्रोत्साहन नहीं था। उनके पास बस इस बात की विश्वसनीय पहुँच नहीं थी कि उनके स्वयं के निर्णय को क्या चला रहा था।

निष्कर्ष सीधा है: एजेंट डिज़ाइन पर अपनी टीम से पूछने पर ऐसा डेटा मिलता है जिसका कोई प्रमाणित पूर्वानुमान-मूल्य नहीं है। इस अध्ययन में स्व-कथन ने उस एक चर पर ग़लत दिशा दिखाई जिसने व्यवहार को मापने योग्य ढंग से हिलाया।

आपका AI एजेंट मूल्यांकन आंशिक रूप से पर्सोना को आँक रहा है

इसे किसी मध्य-बाज़ार कंपनी की परिचालन समीक्षा में ले जाइए, और समस्या अवतारों की नहीं रह जाती।

आप दो भिन्न कार्यक्षेत्रों में दो एजेंट पायलट कर रहे हैं। एक सुगढ़ वाक्-इंटरफ़ेस है, नाम और चेहरे के साथ; दूसरा एक उपयोगितावादी उपकरण है जो टिकट-कतार में पाठ लौटाता है। तिमाही के अंत में आप संतुष्टि-अंक, कथित उपयोगिता, उपयोग जारी रखने की टीम की इच्छा, और सीट बढ़ाने के अनुरोध तुलना करते हैं। फिर विजेता को धन देते हैं।

यह अध्ययन कहता है कि उस अंतर का एक अज्ञात हिस्सा मूर्त-रूप है, प्रदर्शन नहीं। आपने एक अनियंत्रित तुलना चलाई और परिणाम को क्षमता-संकेत के रूप में पढ़ा। जिस एजेंट को धन मिला, वह संभवतः केवल बेहतर प्रस्तुत किया गया एजेंट था।

यह विफलता-प्रकार एक विशिष्ट ढंग से बढ़ता है। प्रस्तुति बदलना सस्ता है और क्षमता बदलना महँगा, इसलिए कोई विक्रेता — या अपनाने के मीट्रिक पर अनुकूलन करती कोई आंतरिक टीम — पर्सोना सुधारना काम सुधारने से सदा आसान पाएगी। यदि आपका स्कोरकार्ड इन दोनों में भेद नहीं कर सकता, तो वह सस्ते विकल्प को पुरस्कृत करता रहेगा, और आपकी माप-प्रणाली चुपचाप वास्तविक गुणवत्ता के विरुद्ध चयन करने लगेगी।

यह उस प्रवृत्ति का तीक्ष्ण रूप है जो एजेंट-शोध में अन्यत्र भी दिख रही है। 2026 के Agent Confidence Index ने 300 प्रौद्योगिकी अधिकारियों और व्यवसायियों के बीच 101 एजेंटिक कार्यों की श्रेणीबद्धता की और पाया कि विश्वास मॉडल-क्षमता के बजाय कार्य की सत्यापन-योग्यता और व्यावसायिक संदर्भ की पूर्णता का अनुसरण करता है — स्वचालित रिपोर्ट-निर्माण को 83.5 और बॉयलरप्लेट कोड को 82.5 अंक मिले, दोनों के पास एक ही वस्तुनिष्ठ मूल्यांकन-मीट्रिक है, जबकि उन्हीं अंतर्निहित मॉडलों पर service mesh कॉन्फ़िगरेशन 37.5 पर ठहर गया (MIT Technology Review Insights, 2026; Microsoft, 2026)। जहाँ सफलता की स्पष्ट मीट्रिक नहीं होती, वहाँ रिक्तता को मानवीय निर्णय भरता है — और यह वर्चुअल-रिऐलिटी अध्ययन दिखाता है कि जब पकड़ने को कुछ ठोस न हो, तो वह निर्णय किससे चिपक जाता है।

अध्ययन जो नहीं दिखाता

तीन सीमाएँ, स्पष्ट रूप से कही गईं, क्योंकि इतना सुविधाजनक तर्क इनका हक़दार है।

यह गढ़े गए कार्य के साथ वर्चुअल-रिऐलिटी परिवेश था, वास्तविक परिणामों वाले कार्यप्रवाह के भीतर किसी एजेंट की वास्तविक तैनाती नहीं। दाँव छोटे और एक-बारगी थे: अधिकतम 4 स्विस फ़्रैंक, एक बार आवंटित — परिणाम के लिए जवाबदेह किसी व्यक्ति का आवर्ती बजट-निर्णय नहीं। और लिंग-प्रस्तुति के अनुसार भरोसे तथा श्रेय-आरोपण के अंतर सार्थकता तक नहीं पहुँचे, अतः प्रभाव सरसरी पाठ के सुझाव से अधिक संकुचित है।

इन चेतावनियों के बाद जो बचता है वह संरचनात्मक बिंदु है, और वह अक्षुण्ण बचता है: क्षमता को रचना द्वारा स्थिर रखे जाने पर भी प्रस्तुति ने मौद्रिक मूल्यांकन को हिलाया, और स्व-कथन इसका पूर्वानुमान करने में विफल रहा। कार्य करने के लिए यह आवश्यक नहीं कि प्रभाव-आकार वर्चुअल-रिऐलिटी प्रयोगशाला से आपके परिचालन-तल पर स्थानांतरित हो। केवल यह स्वीकारना पर्याप्त है कि पर्सोना आपके मूल्यांकन में एक सक्रिय चर है और आप इस समय उसे नियंत्रित नहीं कर रहे।

ग़लत चीज़ मापने की लागत

चिंता का कारण बजटीय है, नैतिक नहीं।

एजेंटिक अर्थशास्त्र पर McKinsey QuantumBlack के अगस्त 2026 के कार्य ने पाया कि बैंकिंग में ग्राहक-सेवा कार्य करने वाले एजेंट के लिए टोकन-लागत अक्सर परिवर्तनीय संचालन-लागत का केवल 20 से 25 प्रतिशत होती है, जबकि मानवीय निगरानी 70 से 75 प्रतिशत हिस्सा लेती है (McKinsey QuantumBlack, 2026)। निगरानी — किसी एजेंट को कितनी मानवीय समीक्षा चाहिए, किससे, कितनी बार — प्रमुख लागत-मद है।

यह आवंटन ठीक उसी निर्णय से तय होता है जिसे यह अध्ययन दूषित दिखाता है। किसी एजेंट को भरोसेमंद मान लें, तो आप निगरानी घटाते हैं और उसकी स्वायत्तता बढ़ाते हैं। अविश्वसनीय मानें, तो हर रन पर समीक्षक रखते हैं। यदि उस विश्वास का कुछ हिस्सा इस बात का अनुसरण कर रहा है कि इंटरफ़ेस कितना मानवीय लगता है, तो आप आकर्षक एजेंट की कम समीक्षा करेंगे और उपयोगी एजेंट की अधिक — और पूरे ढेर की सबसे बड़ी लागत पर ग़लत होंगे।

अपनी अगली एजेंट समीक्षा से पहले क्या करें

चार बदलाव, सभी इस तिमाही में संभव, और किसी में नए उपकरण की आवश्यकता नहीं।

जिस भी चीज़ की तुलना करने का इरादा है, उसमें प्रस्तुति स्थिर रखें। यदि दो एजेंटों का आपसी मूल्यांकन हो रहा है, तो उन्हें एक ही इंटरफ़ेस-प्रकार दें, या स्वीकार करें कि तुलना दूषित है और उसे प्रदर्शन-परिणाम के रूप में रिपोर्ट करना बंद करें।

एजेंट डिज़ाइन पर टीम-सर्वे बंद करें। चौंतीस में से तीस प्रतिभागी अपने ही व्यवहार के बारे में ग़लत थे। इसके बजाय विशिष्ट, अवलोकनीय घटनाओं के बारे में पूछें: एजेंट ने क्या उत्पादित किया, आपको क्या सुधारना पड़ा, सुधार में कितना समय लगा, आपने क्या आगे बढ़ाया। ये उत्तर जाँचे जा सकते हैं।

भावना के बजाय व्यवहार को मापें। समीक्षा में पकड़ी गई त्रुटि-दर, पुनर्कार्य की मात्रा, एस्केलेशन की आवृत्ति, आउटपुट से स्वीकृत डिलिवरेबल तक का समय। ये सभी इस बात से निरपेक्ष हैं कि एजेंट का चेहरा है या नहीं।

तिमाही एजेंट समीक्षा को संख्यात्मक और हस्ताक्षरित बनाएँ। एजेंट एकमात्र ऐसा विषय है जिसका मूल्यांकन आप विशुद्ध रूप से संख्याओं पर कर सकते हैं, उन निष्पक्षता-बंधनों के बिना जो मनुष्यों पर उचित ही लागू होते हैं: नामित पर्यवेक्षक द्वारा लिखित परिणाम के साथ बंद किया गया आवधिक स्कोरकार्ड किसी Digital Employee के लिए उससे कहीं अधिक बचाव-योग्य है जितना वह किसी मानव अधीनस्थ के लिए कभी होता — और इसीलिए Scovai की Digital Employee सीटों की समीक्षा इसी ढंग से होती है, भावना-सर्वे से नहीं। आप जो भी प्रणाली उपयोग करें, अपेक्षा एक ही है: नामित जवाबदेह मनुष्य, मापों का एक निश्चित समुच्चय, और लिखित रूप में दर्ज एक निर्णय।

आपका AI एजेंट मूल्यांकन टिकता है या नहीं, इसकी परीक्षा एक ही प्रश्न है, और उत्तर आप आज दे सकते हैं: पिछली तिमाही में आपने जिस एजेंट को धन दिया, वह यदि किसी दूसरी आवाज़ और बिना नाम के आया होता, तो क्या आपका स्कोरकार्ड वही संख्या देता? यदि आप हाँ नहीं कह सकते, तो आपने अवतार मापा है।

Ready to go beyond the CV?

Scovai's AI-powered Talent Passport reveals what resumes can't: personality, potential, and true job fit.