दो समीक्षकों ने उत्पादन में चल रहे एक ही AI एजेंट के एक ही बैच आँके और संयुक्त गुणवत्ता सूचकांक पर उनमें 0.79 मानक विचलन का अंतर निकला। उन्हीं छह महीनों में किसी एक दर्ज किए गए डिप्लॉय से आई सबसे बड़ी गुणवत्ता गति 0.20 मानक विचलन थी (Zhang & Esposito, 2026)। यानी उस AI एजेंट मूल्यांकन में शोर उस संकेत से लगभग चार गुना बड़ा था जिसे पकड़ने के लिए वह बना था। जब मई में एक सख़्त समीक्षक रोटेशन में शामिल हुआ, कंपनी का कच्चा गुणवत्ता रुझान सपाट हो गया — और एजेंट पूरे समय बेहतर होता जा रहा था।
यह लापरवाह समीक्षकों की कहानी नहीं है। यह कहानी है कि क्या होता है जब आप अंकों की एक धारा चलाते हैं और कभी जाँचते ही नहीं कि वे अंक आपस में तुलनीय हैं या नहीं।
अध्ययन: 2,611 आँके गए साक्षात्कार, 14 बैच, उत्पादन में एक एजेंट
Liu Zhang और Mark Esposito ने एक ऐसी कंपनी का अध्ययन किया जो लाइव नौकरी-साक्षात्कार लेने वाला वॉइस-एंड-वीडियो AI एजेंट चलाती है। मार्च से अगस्त 2026 तक कंपनी की अपनी मूल्यांकन पाइपलाइन ने नौ-परिवार वाली रूब्रिक के आधार पर 14 बैचों में 2,611 उत्पादन रिकॉर्डिंग आँकीं, और मानव समीक्षकों को हर बैच के भीतर जानबूझकर ओवरलैप कराया गया। यही ओवरलैप पूरी पद्धति है: यही एकमात्र चीज़ है जो एक समीक्षक कितना सख़्त है को एजेंट वास्तव में कितना बेहतर हुआ से अलग करने देती है (Zhang & Esposito, 2026)।
डिज़ाइन मायने रखता है क्योंकि यह वही है जो मिड-मार्केट ऑपरेशंस टीमें पहले से कर रही हैं। दो-तीन लोग एजेंट के आउटपुट को रूब्रिक पर आँकते हैं, अंक डैशबोर्ड पर जाते हैं, और कोई रेखा पढ़ लेता है। फ़र्क़ सिर्फ़ इतना है कि अधिकांश टीमें अपने समीक्षकों को ओवरलैप नहीं कराती — इसलिए उनके पास दोनों प्रभावों को अलग करने का कोई तरीक़ा नहीं होता।
ओवरलैप ने यह दिखाया।
समीक्षक B — मई में जुड़ा एक प्रशिक्षक — ने वही बैच समीक्षक A से 0.79 मानक विचलन (SE 0.05) नीचे आँके। जिन नौ बैचों को दोनों ने आँका, उनमें अंतर हर एक बैच में ऋणात्मक रहा, −0.90 से −0.53 SD के बीच, और प्रतिलोम-प्रसरण से संयोजित अंतर −0.77 (SE 0.03) रहा। विषमता परीक्षण सटीक स्थिरता को अस्वीकार करता है (Q = 19.0, p = 0.01), इसलिए यह विचलन एक सन्निकटन है, कोई साफ़ स्थिरांक नहीं — पर दिशा एक बार भी नहीं पलटी।
समीक्षक-प्रभाव हटा दें और चित्र उलट जाता है। गुप्त गुणवत्ता सूचकांक 0.53 मानक विचलन चढ़ा, 29 मार्च के 0.05 SD से 10 अगस्त के 0.58 SD तक। सुधार असली था। सपाट रेखा इसका उपफल थी कि कलम किसके हाथ में थी। गुप्त गंभीर-विफलता दर वही कहानी दूसरे आकार में कहती है: मार्च में 2.8%, 9 मई के आसपास 6.3% पर शिखर, फिर लगातार गिरावट के साथ 10 अगस्त तक 2.5% (Zhang & Esposito, 2026)।
समीक्षकों के बीच का अंतर एजेंट के किसी भी काम से बड़ा था
प्रसरण के तीनों घटकों को आसपास रखिए, क्योंकि क्रम ही निष्कर्ष है:
- समीक्षक विचलन: 0.79 SD
- साक्षात्कार-से-साक्षात्कार शोर: 0.89 SD (केस-स्तर)
- बैच-से-बैच असली गति: 0.20 SD
तीनों एक ही डेटासेट से हैं (Zhang & Esposito, 2026)। एजेंट की गुणवत्ता में असली गति इस व्यवस्था का सबसे छोटा पद है। समीक्षा की तरफ़ हुआ एक स्टाफ़ परिवर्तन अकेले इतना बड़ा था कि छह महीने का असली सुधार कच्चे रुझान से मिट गया। जून में उस डैशबोर्ड को देख रही टीम यह निष्कर्ष निकालती कि एजेंट ठहर गया है — और उचित रूप से एक ऐसे डिप्लॉय को पलट सकती थी जो काम कर रहा था।
यही हिस्सा ठहरकर सोचने लायक़ है। एजेंट गवर्नेंस की बहुसंख्य बहसें इस पर होती हैं कि कितनी निगरानी ख़रीदी जाए। यह परिणाम कहता है कि पहला सवाल यह है कि आपने जो निगरानी पहले ही ख़रीद ली है, वह समय के आर-पार आपस में तुलनीय संख्याएँ देती है या नहीं। यदि नहीं, तो उसे बढ़ाना आयतन जोड़ता है, सूचना नहीं।
रूब्रिक पर सख़्त, निर्णायक मानदंड पर नरम
डेटा के भीतर का यह उलटाव वह ब्यौरा है जिसे एजेंट QA चलाने वाले किसी भी व्यक्ति को असहज करना चाहिए। वही समीक्षक B, जो संयुक्त सूचकांक पर 0.79 SD कठोर आँक रहा था, गंभीर विफलताओं को 2.0% पर चिह्नित करता था, जबकि समीक्षक A 5.0% पर — बैच के भीतर −2.2 प्रतिशत अंक का अंतर, विपरीत दिशा में (Zhang & Esposito, 2026)।
सख़्ती एक ही नॉब नहीं है। एक समीक्षक आँके जाने वाले मदों पर कठोर और उस द्विआधारी मानदंड पर नरम हो सकता है जो वास्तव में डिप्लॉय रोकता है। अर्थात् अपने समीक्षकों को रूब्रिक अंक पर कैलिब्रेट करना इस बारे में कुछ नहीं बताता कि वे इस पर सहमत हैं या नहीं कि क्या अस्वीकार्य है। ये दो अलग कैलिब्रेशन समस्याएँ हैं, और लगभग कोई QA प्रक्रिया इन्हें इस तरह नहीं लेती।
आपके मूल्यांकन की एक शेल्फ़ लाइफ़ है, और ईमानदार उत्तर है "एक से इक्कीस सप्ताह के बीच"
पेपर का दूसरा आधा हिस्सा साक्ष्य पर घड़ी लगाता है। दर्ज डिप्लॉयों के बीच अलेखित गति की दर आँकने पर, सूचकांक की पूर्वानुमान अनिश्चितता चार सप्ताह बाद 0.18 SD, आठ सप्ताह बाद 0.25 और बारह सप्ताह बाद 0.30 तक पहुँचती है। यह सबसे बड़े प्रेक्षित डिप्लॉय अंतर — 12 अप्रैल के उस 0.20 SD परिवर्तन — के आकार तक बिंदु-आकलन पर लगभग पाँच सप्ताह में पहुँचती है, और संयोजित दर पर छह सप्ताह में।
और तब लेखक वह करते हैं जो इस पेपर को उपयोगी बनाता है: वे अंतराल बताते हैं। बहाव दर की 95% परास पर यह क्षितिज 1 से 21 सप्ताह के बीच है। चौदह बैच प्रसरण की पहचान ढीले ढंग से करते हैं, और आकलन कुछ ही सीढ़ीनुमा परिवर्तनों से संचालित है।
पाँच सप्ताह को अंतराल के बिना उद्धृत न करें। चौड़ाई ही निष्कर्ष है। वह कहती है कि कोई भी — लेखक सहित — अभी नहीं जानता कि एजेंट मूल्यांकन कितनी तेज़ी से पुराना पड़ता है, और यह कि त्रैमासिक स्वीकृति एक ऐसी परास के आशावादी छोर पर दाँव है जो एक सप्ताह तक नीचे जाती है।
एक स्वतंत्र संकेत समायोजित सूचकांक की ही दिशा में हिला: साक्षात्कार से जुड़े सपोर्ट टिकट तकनीकी-समस्या टिकटों के सापेक्ष प्रति माह लगभग 10% घटे। यह उस परिणाम से पुष्टि है जिसे मूल्यांकन पाइपलाइन नियंत्रित नहीं करती, और यह एक और रूब्रिक से अधिक मूल्यवान है।
प्रतिपक्ष तर्क, ठीक से रखा गया
यह एक ही डिप्लॉयमेंट है। एक कंपनी, एक एजेंट, चौदह बैच, और एक प्रारंभिक वर्किंग पेपर जिसकी सहकर्मी-समीक्षा नहीं हुई। लेखक स्पष्ट हैं: "ये डेटा प्रदर्शन पर मूल्यांकन के कारणात्मक प्रभाव की पहचान नहीं करते।" यहाँ कुछ भी यह नहीं दिखाता कि मूल्यांकन कार्यक्रम चलाने से एजेंट बेहतर हुआ।
तो निष्कर्ष शीर्षक से संकरा है और एक अकेले मामले से अधिक टिकाऊ। दावा यह नहीं है कि "मूल्यांकन एजेंटों को बेहतर बनाता है"। दावा यह है कि बिना नियंत्रित समीक्षक-सख़्ती वाली अंक-धारा एक असली रुझान का चिह्न उलट सकती है — और यह मापन का गुण है, इस कंपनी का गुण नहीं।
सहज प्रतिक्रिया है समीक्षक बढ़ा देना। सिद्धांत वहाँ भी सावधानी कहता है: कड़ा ऑडिट कुछ उल्लंघनों को रोकता है पर उन एजेंटों में छिपाव बढ़ाता है जो फिर भी उल्लंघन करते हैं, इसलिए ऑडिट की मात्रा बढ़ने के साथ पकड़-दर गिर सकती है (Gans & Holden, NBER, 2026)। दोनों साहित्यों में निगरानी का डिज़ाइन निगरानी की मात्रा पर भारी पड़ता है। मनुष्य कहाँ बैठता है, यह सुरक्षा जितना ही थ्रूपुट का चर है — निर्धारित मध्य-कार्य पुष्टि बिंदुओं ने कार्य पूरा होने का समय अंत में ही पुष्टि करने की तुलना में 13.54% घटाया, और 81% प्रतिभागियों ने उन्हें पसंद किया (Zhou et al., CHI 2026)।
और यह कोई संक्रमणकालीन समस्या नहीं है जिसे टाला जा सके। 101 एजेंटिक कार्यों को क्रमित करने वाले 300 प्रौद्योगिकी अधिकारियों और व्यवसायियों के एक सर्वेक्षण में, 59% पहले से स्थायी मानव निगरानी की योजना बना रहे हैं, और घोषित चिंताएँ हैं जवाबदेही (48%) और मतिभ्रम (47%) (MIT Technology Review Insights, 2026)। यदि मानव समीक्षा की परत स्थायी है, तो उससे बनने वाली अंक-धारा स्थायी अधोसंरचना है — और कोई उसे वैसा नहीं मानता।
अगले डिप्लॉय से पहले अपने AI एजेंट मूल्यांकन में क्या ठीक करें
चार बदलाव, लागत के क्रम में। पहले दो लगभग मुफ़्त हैं और सीधे पेपर की पद्धति से निकलते हैं।
1. हर बैच के भीतर समीक्षकों को ओवरलैप कराएँ। कम से कम दो लोग एक ही अवधि में उन्हीं मदों का एक साझा उपसमुच्चय आँकें। यही एक आदत सख़्ती को असली गति से अलग करने योग्य बनाती है; इसके बिना आप जो भी रुझान रेखा खींचेंगे वह दोनों को मिला देगी। लागत है एक नमूने पर दोहरी आँकलन, दूसरी नियुक्ति नहीं।
2. गंभीर-विफलता फ़्लैग को रूब्रिक अंक से अलग कैलिब्रेट करें। यहाँ वे विपरीत दिशा में 2.2 प्रतिशत अंक अलग थे। एक संयुक्त संख्या पर सहमत होना यह सहमति नहीं है कि कौन-सी चीज़ रिलीज़ रोकती है।
3. कैलेंडर पर नहीं, डिप्लॉय पर पुनर्मूल्यांकन करें। साक्ष्य की ताज़गी उस दर से क्षय होती है जिसे आपने मापा नहीं। मूल्यांकन को चेंज लॉग से बाँधें — हर दर्ज डिप्लॉय को नया पाठ मिले — बजाय एक त्रैमासिक समीक्षा तिथि के, जो उपयोगी क्षितिज से पहले ही चार सप्ताह आगे निकल चुकी हो सकती है।
4. एक ऐसे परिचालन परिणाम से पुष्टि करें जिसे मूल्यांकन नियंत्रित नहीं करता। टिकट, एस्केलेशन, पुनःकार्य दर, हैंडल समय। यदि रूब्रिक हिलता है और परिणाम नहीं, तो परिणाम पर भरोसा करें।
यह अमूर्त मापन चिंता क्यों नहीं है: किसी भी ऐसे गवर्नेंस मॉडल में जहाँ एजेंट अपने ही ट्रैक रिकॉर्ड से स्वायत्तता अर्जित करता है, अंक-धारा एक नियंत्रण सतह है। यदि स्वायत्तता साफ़ अनुमोदनों के परिकलित रजिस्टर से क्रिया-प्रकार के अनुसार बढ़ती है, या कोई सीट पर्यवेक्षक के सामयिक स्कोरकार्ड से बंद होती है, तो समीक्षक बहाव केवल डैशबोर्ड को भ्रमित नहीं करता — वह तय करता है कि एक डिजिटल कर्मी को कितनी छूट मिलेगी और कोई मनुष्य लूप में रहेगा या नहीं। जहाँ यह शृंखला स्पष्ट रूप से लिखी होती है — डिफ़ॉल्ट रूप से पहले पुष्टि, क्रिया-प्रकार के अनुसार दी गई स्वायत्तता, हर सीट के ऊपर नामित पर्यवेक्षक, जैसा Scovai के Digital Employee मॉडल में है — वहाँ यह निर्भरता कम-से-कम दिखती है। जहाँ नहीं, वहाँ अंतर्निहित अंकों की तुलनीयता चुपचाप एनालिटिक्स का प्रश्न होना बंद कर जवाबदेही का प्रश्न बन चुकी है।
इस तिमाही का निर्णय
आपको नया टूल, नया वेंडर या बड़ा समीक्षा बजट नहीं चाहिए। आपको यह जानना है कि आपके AI एजेंट मूल्यांकन के पिछले चार अंक एक ही मानक से बने थे या नहीं — और इस समय, लगभग निश्चित रूप से, आप यह नहीं बता सकते। इसलिए नहीं कि प्रक्रिया ख़राब है, बल्कि इसलिए कि उसमें कुछ भी उस प्रश्न का उत्तर देने के लिए कभी बनाया ही नहीं गया।
तो उसका उत्तर देने वाला सबसे छोटा संस्करण चुनें। इस तिमाही, एक दूसरे समीक्षक से उन्हीं मदों के 10% स्वतंत्र रूप से और अनभिज्ञ रहकर आँकवाएँ जिन्हें आपका मुख्य समीक्षक पहले ही आँक चुका है, उसी बैच में। दोनों वितरणों की तुलना करें, फिर उस अंतर की तुलना उस गति से करें जो आप ऊपर रिपोर्ट करते आए हैं। यदि अंतर संकेत के आकार के पास पहुँचता है, तो आपका एजेंट गुणवत्ता रुझान आपकी शिफ़्ट सूची मापता रहा है।
लागत है दोहरी आँकलन के कुछ घंटे। विकल्प है स्वायत्तता, रोलबैक और कर्मचारी-संख्या के निर्णय ऐसी संख्या पर लेते रहना जिसकी इकाइयाँ किसी के छुट्टी पर जाने से बदल जाती हैं।
समीक्षा पर भरोसा करने से पहले समीक्षक को मापें।