MIT के नए ऑडिट में एक जज का औसत पूर्वाग्रह नौ-अंकीय पैमाने पर मात्र +0.12 अंक था — आँकड़ों के लिहाज़ से पूरे सेट में सबसे सटीक स्थिति वाला स्कोरर। फिर उसने बताया कि 78.4% काम स्वीकार्य है, जबकि उन्हीं उत्तरों को आँकने वाले, उसी पेशे के अनुभवी कर्मचारियों ने 61.1% कहा। लगभग शून्य औसत त्रुटि वाले स्कोरर से 17.3 प्रतिशत अंक की चूक (Lyu & Thompson, 2026)।
यह अंतर मॉडल की गुणवत्ता की समस्या नहीं है। यह सत्यापन की समस्या है — और अगर आपने अपना AI स्कोरर उसी तरह चुना है जैसे अधिकांश ऑपरेशंस टीमें चुनती हैं, तो वह इसी वक़्त आपके स्टैक में बिना मापे बैठा है।
यह ऑडिट, और इसे असामान्य क्या बनाता है
MIT के हैरी ल्यू और नील थॉम्पसन ने O*NET-BENCH बनाया — कर्मचारियों के मूल्यांकन के एक मौजूदा संग्रह से जोड़ा गया ऑडिट सूट: O*NET से व्युत्पन्न कार्यस्थल कार्यों के AI-जनित उत्तरों की 45,796 रेटिंग, जो अमेरिकी कर्मचारियों से ली गईं, जिनमें से हर एक ने वह पेशा चुना जिसमें उसने अनुभव बताया और पुष्टि की कि प्रस्तुत काम उससे मेल खाता है (Mertens et al., 2026)। ऑडिट के लिए कोई नया मानवीय डेटा नहीं जुटाया गया। फ़्रीज़ किया गया निष्कर्षण 18 अगस्त 2026 का स्नैपशॉट है; मूल्यांकन 4,501 रेटिंग के रोके गए टेस्ट सेट पर हुआ, जिसमें कार्य आईडी और कर्मचारी विभाजनों के बीच अलग-अलग थे।
उस संग्रह पर लेखकों ने छह मॉडल परिवारों में फैली 33 पूर्व-मौजूद जज कॉन्फ़िगरेशन चलाईं — Claude Haiku 4.5 और Opus 4.7, GPT-5.4-mini, GPT-OSS-120B, DeepSeek-V4-Pro, Llama-3.3-70B, Qwen3.5-9B, LoRA चेकपॉइंट सहित — उदाहरणों, पॉइंटवाइज़ बनाम लिस्टवाइज़ प्रस्तुति, रूब्रिक ढाँचों, डिकोडिंग सेटिंग्स, सेल्फ़-कंसिस्टेंसी और एन्सेम्बलिंग में बदलाव करते हुए।
आँकड़ों से पहले एक सावधानी याद रखें: ये 33 शाखाएँ आपस में जुड़ी प्रायोगिक स्थितियाँ हैं, 33 स्वतंत्र पुनरावृत्तियाँ नहीं, और कर्मचारी यहाँ आकलित राशि हैं, वस्तुनिष्ठ सत्य नहीं। पेपर उसी पेशे के अनुभवी मूल्यांकनकर्ताओं से सहमति मापता है, वस्तुनिष्ठ शुद्धता नहीं।
वह रैंकिंग टेस्ट जिसे हर AI स्कोरर पास कर लेता है
अब वह हिस्सा जो जाना-पहचाना लगना चाहिए। सभी 33 कॉन्फ़िगरेशन ने उत्तरों को संयोग से बेहतर क्रम में रखा — टाई-सचेत जोड़ी सटीकता के लिए कार्य-आधारित हर अंतराल ने 0.5 को बाहर रखा। पच्चीस कॉन्फ़िगरेशन ने 0.60 पार किया, माध्यिका 0.631 और सबसे मज़बूत लगभग-पूर्ण कॉन्फ़िगरेशन 0.658 पर।
अगर आपके विक्रेता ने आपको सत्यापन डेक भेजा था, तो उसमें यही था: मानव मूल्यांकनकर्ताओं से सहसंबंध, जोड़ीवार सहमति, पुनर्निर्मित रैंकिंग। इस साक्ष्य पर इनमें से अधिकांश जज उद्देश्य के लिए उपयुक्त दिखते हैं।
दो निष्कर्ष इस डेक को जटिल बनाते हैं। पहला, केवल उत्तर पर प्रशिक्षित एक TF–IDF बेसलाइन सबसे मज़बूत जज के लगभग बराबर आ जाती है — यानी क्रम का संकेत व्यापक है पर उथला, और रैंकिंग की कोई सीमा पार कर लेना एक परिष्कृत स्कोरर को बैग-ऑफ़-वर्ड्स रिग्रेशन से शायद ही अलग करता है। दूसरा, कवरेज का जाल: Llama-3.3-70B कर्मचारियों द्वारा निर्णीत जोड़ों में से केवल 5.1% को क्रम देता है, इसलिए 0.631 की सशर्त सटीकता उन जोड़ों को गिनते ही 0.507 की टाई-सचेत सटीकता में ढह जाती है जिन्हें वह अलग करने से मना करता है। कोई जज लगभग हर चीज़ पर चुप रहकर एक सम्मानजनक रैंकिंग आँकड़ा दिखा सकता है।
पास रेट ही वह आँकड़ा है जो वाकई कंपनी से बाहर जाता है
सीमा का असल मतलब क्या है
यह ठहरकर देखने लायक है कि यहाँ "स्वीकार्य" का अर्थ क्या था, क्योंकि यही अस्पष्टता अधिकांश आंतरिक गुणवत्ता मानकों के भीतर बैठी है। मुख्य लक्ष्य नौ-अंकीय पैमाने पर manager_accept था, स्वीकृति सीमा 7 पर तय — और 7 की परिभाषा है बिना संपादन के न्यूनतम पर्याप्त, न कि अच्छा। नौ का अर्थ है बिना संपादन के उत्कृष्ट गुणवत्ता। तो कर्मचारियों का 61.1% उन उत्तरों का हिस्सा है जिन्हें उस पेशे में अनुभवी व्यक्ति ज्यों का त्यों आगे भेज देता — और वह भी उस न्यूनतम स्तर पर जो अब भी भेजने लायक गिना जाता है। अगर आपका अपना पास रेट "ठीक है" और "उत्कृष्ट" को बिना किसी लिखित परिभाषा के मिलाता है, तो वही समस्या आपके यहाँ एक परत पहले मौजूद है, और कोई ऑडिट उसे आपके लिए नहीं खोजेगा।
स्वीकृति का यह आँकड़ा भारांकन के प्रति भी मज़बूत है: कर्मचारियों का हिस्सा उत्तर-भारित 61.1%, समान कार्य भार पर 61.5%, समान पेशा भार पर 61.6% है, और जजों के बीच 3.0%–97.9% की रेंज मूलतः अपरिवर्तित रहती है। यह फैलाव जजों का गुण है, समुच्चयन की कारीगरी नहीं।
कोई भी बोर्ड को जोड़ीवार सटीकता नहीं बताता। बताया एक दर को जाता है: इतना हिस्सा स्क्रीनिंग पास कर गया, टिकटों का इतना हिस्सा गुणवत्ता मानक पर खरा उतरा, भूमिका का इतना हिस्सा स्वचालित किया जा सकता है।
उन्हीं 4,501 उत्तरों पर 33 जजों ने स्वीकृति हिस्से 3.0% से 97.9% तक आँके, माध्यिका 43.9%, जबकि कर्मचारियों का 61.1% था। यह किसी सही मान के इर्द-गिर्द का शोर नहीं है — यह इतनी चौड़ी रेंज है कि आप जिस भी निष्कर्ष के साथ अंदर गए हों, उसे सहारा मिल जाए। सभी 33 औसत-पूर्वाग्रह अंतरालों ने शून्य को बाहर रखा: 29 ने कर्मचारियों से नीचे अंक दिए, चार ने ऊपर, माध्यिका पूर्वाग्रह −1.18 अंक। Claude Opus 4.7 −3.23 अंक पर रहा, जो कर्मचारियों के 1.7 मानक विचलन के बराबर है, और 86% उत्तरों में कर्मचारी से कम अंक दिए। TF–IDF नियंत्रण, −0.05 औसत पूर्वाग्रह और प्रतिस्पर्धी क्रम के साथ, 43.5% पर टिका — यानी औसत मिला लेना भी दर को वापस नहीं लाता।
और सबसे तीखा मामला सबसे सुव्यवस्थित वाला है। पॉइंटवाइज़ GPT-OSS-120B के पास पूरे सेट में सबसे छोटा निरपेक्ष औसत पूर्वाग्रह था, +0.12 [0.01, 0.22]। उसका स्कोर वितरण संपीड़ित था — मानक विचलन अनुपात 0.83 — जो द्रव्यमान को ठीक स्वीकृति कट-ऑफ़ के आसपास केंद्रित करता है, जहाँ स्थान की छोटी-सी त्रुटि बड़ी संख्या में मदों को रेखा के पार धकेल देती है। इसीलिए 61.1% के मुकाबले 78.4%।
दर को सीमा के पास का फैलाव तय करता है, औसत त्रुटि नहीं। समान औसत पूर्वाग्रह वाले दो स्कोरर तीस अंक दूर की दरें बता सकते हैं, यह इस पर निर्भर करता है कि उनके अंक कट-ऑफ़ पर कितनी सघनता से जमा हैं। कोई रैंकिंग मापक इसे नहीं पकड़ता। औसत-पूर्वाग्रह की जाँच भी नहीं।
कैलिब्रेशन औसत हिलाता है, स्थान नहीं
स्पष्ट उपाय है कैलिब्रेट करना। लेखकों ने किया: कार्य-समूहित, पाँच-फ़ोल्ड क्रॉस-वैलिडेटेड आइसोटोनिक कैलिब्रेशन ने हर लगभग-पूर्ण कॉन्फ़िगरेशन में निरपेक्ष औसत पूर्वाग्रह घटाकर अधिकतम 0.003 कर दिया। स्थान की त्रुटि हल।
जो बचा रहा, वही समस्या है। कैलिब्रेटेड अंकों ने व्यक्तिगत कर्मचारी रेटिंग की विचरणशीलता का अधिकतम 8.5% ही समझाया — सर्वोत्तम क्रॉस-वैलिडेटेड R² 0.085, अवशिष्ट मानक विचलन 1.85 बनाम कर्मचारी रेटिंग का 1.94। अब औसत सही है और व्यक्तिगत स्थान लगभग पहले जितने ही बिखरे हुए हैं। सेल्फ़-कंसिस्टेंसी और एन्सेम्बलिंग ने भी नहीं बचाया: उन कॉन्फ़िगरेशन में लगभग −1.3 से −1.5 अंक के औसत पूर्वाग्रह बने रहे। अध्ययन किए गए लेबल बजट पर भविष्यवाणी-सहायित आकलन ने अधिक से अधिक छोटे परिशुद्धता लाभ दिए।
फिर वह परिणाम है जिसे रैंकिंग मापक के विरुद्ध प्रॉम्प्ट ट्यून करने की आदत ख़त्म कर देनी चाहिए। एक फ़ाइन-ट्यून वंश में, पॉइंटवाइज़ स्कोरिंग से बंडल किए गए few-shot/listwise प्रोटोकॉल पर जाने से उत्तरों का क्रम सुधरा जबकि कार्य और पेशा स्तर पर कर्मचारी औसतों से सहमति घट गई। यह उलटाव, कार्यों और कर्मचारियों के लिहाज़ से अलग किए गए सत्यापन विभाजन पर, पूर्व-निर्धारित मानदंडों के तहत दोहराया गया। जिस मापक को आप मापते हैं उसे अनुकूलित करने से वह मापक बिगड़ा जिसकी आप रिपोर्ट करते हैं।
स्पष्ट प्रति-तर्क: इंसानों को वापस लगा दीजिए
ठीक है — पर इंसान भी एक पैमाना हैं, अपने ही खिसकाव के साथ। एजेंटों द्वारा संचालित 2,611 साक्षात्कारों के एक अलग ऑडिट में समीक्षकों के बीच 0.79 मानक विचलन का कठोरता अंतर मिला: बीच में शामिल हुए एक ज़्यादा सख़्त समीक्षक ने एक मापी गई गुणवत्ता प्रवृत्ति को सपाट कर दिया, जो असल में तब भी सुधर रही थी (Liu Zhang & Esposito, 2026)। मानव समीक्षा कोई कैलिब्रेटेड उपकरण नहीं है जिसे आप बदलकर लगा दें; वह दूसरा बिना-कैलिब्रेट उपकरण है।
ईमानदार पाठ ज़्यादा सीमित और ज़्यादा उपयोगी है: दोनों में से कोई भी पैमाना खुद को सत्यापित नहीं करता, और उनमें से केवल एक इतना सस्ता है कि उसका लगातार ऑडिट हो सके। आप हर तिमाही 4,501 रोके गए मद किसी जज पर दोबारा चला सकते हैं। आप अपने समीक्षकों को दोबारा नहीं चला सकते।
एक दायरा-सीमा साफ़ कहनी है, क्योंकि पेपर खुद कहता है: जिन मदों पर निर्णय हुआ वे पेशेवर कार्यों के AI-जनित उत्तर हैं, जिन्हें प्रबंधकीय स्वीकार्यता के लिए आँका गया। यह रिज़्यूमे स्क्रीनिंग नहीं है और भर्ती का फ़ील्ड प्रयोग भी नहीं। हस्तांतरणीय दावा LLM-जज स्कोरिंग का एक गुण है — रैंकिंग सत्यापन किसी दर को अधिकृत नहीं करता — न कि भर्ती परिणामों पर कोई मापा गया प्रभाव। फिर भी यह परिचालन रूप से तात्कालिक इसलिए है कि सीमाएँ ही वह जगह हैं जहाँ अंक निर्णय बनते हैं, और सीमा की त्रुटियाँ ही वह जगह हैं जहाँ असमान प्रभाव प्रकट होता है: व्यावसायिक भर्ती उपकरणों के एक ऑडिट में पद-मॉडल संयोजनों का 10.62% EEOC के चार-पाँचवें नियम पर विफल पाया गया (Stanford HAI, 2026)।
इस तिमाही एक Head of Operations को क्या करना चाहिए
तीन कदम, प्रतिफल की गति के क्रम में।
1. हर उस जगह की सूची बनाइए जहाँ अंक दर में बदलता है। शॉर्टलिस्ट कट-ऑफ़, QA पास दरें, एजेंट एस्केलेशन गेट, और "इस भूमिका का x% स्वचालित हो सकता है" वाली हर स्लाइड। इनमें से हर एक एक सीमा है। हर एक लगभग निश्चित रूप से रैंकिंग साक्ष्य या विक्रेता बेंचमार्क पर चुनी गई थी, और इसलिए जिस राशि को वह पैदा करती है उसके लिए उसका कभी सत्यापन हुआ ही नहीं।
2. क्रम के विरुद्ध नहीं, आकलित राशि के विरुद्ध सत्यापित कीजिए। 300–500 ऐसे मद लीजिए जिन्हें आपके अपने अनुभवी लोग पहले ही आँक चुके हैं, उन पर स्कोरर चलाइए, और दरों की तुलना कीजिए — आपके लोगों ने जो हिस्सा स्वीकारा, बनाम आपके मौजूदा कट-ऑफ़ पर स्कोरर जो हिस्सा स्वीकारता है। अगर ये दो आँकड़े कुछ अंकों से ज़्यादा भिन्न हैं, तो स्कोरर का सहसंबंध चाहे जितना अच्छा हो, आपका कट-ऑफ़ ग़लत बैठा है। फिर फैलाव देखिए: अगर अंक सीमा के आधे अंक के भीतर जमा हो रहे हैं, तो दर अस्थिर है और प्रॉम्प्ट में एक बदलाव उसे हिला देगा।
3. एक मिश्रित आँकड़े से निर्णय ढुलवाना बंद कीजिए। पैमाना-अंधता के विरुद्ध संरचनात्मक बचाव यह है कि गणित को मॉडल के निर्णय से अलग रखा जाए, ताकि खिसकता हुआ जज किसी दृश्य घटक को हिलाए, न कि चुपचाप किसी कुल योग को रेखा के पार सरका दे। Scovai का स्कोरिंग मॉडल एक निश्चित 50/50 भार बजट पर बना है — आधा भूमिका की घोषित आवश्यकताओं से गणितीय रूप से निकाला गया, आधा चार अलग-अलग चिह्नित मॉडल उप-अंकों के रूप में लौटाया गया, हर एक अपने लिखित कारण के साथ, संशोधक ±5 तक सीमित, और अपनी भूमिका-वरिष्ठता समूह की सांख्यिकीय निचली सीमा से नीचे के अंक स्वतः एक मानव समीक्षक के पास, जिसकी कतार भर्ती करने वाला रिक्रूटर खुद बंद नहीं कर सकता। यह ढाँचा किसी जज को कैलिब्रेटेड नहीं बनाता। यह ग़लत कैलिब्रेटेड जज को दृश्य बनाता है, और सीमा को किसी वितरण की कारीगरी के बजाय ऐसा निर्णय बनाए रखता है जिसका कोई ज़िम्मेदार हो।
वह रेखा जिसे आपको बचाना है
पेपर का समापन निर्देश वही है जिसे अगली विक्रेता बातचीत में ले जाना चाहिए: AI स्कोरर को उन स्वीकृति दरों और समुच्चयों के विरुद्ध सत्यापित किया जाना चाहिए जिन्हें आँकने के लिए उसके अंक इस्तेमाल होंगे, न कि उन रैंकिंग के विरुद्ध जो वह संयोगवश पैदा करता है। सहसंबंध कैलिब्रेशन नहीं है, और कैलिब्रेशन स्थान नहीं है। ऑडिट का परिशिष्ट A जज सत्यापन के लिए छह-सूत्रीय रिपोर्टिंग मानक रखता है — किसी विक्रेता के सामने रखकर यह देखना कि क्या लौटता है, एक उचित कदम है।
तो इस तिमाही का ठोस निर्णय छोटा और असुविधाजनक है: अपने परिचालन में वह एक सीमा चुनिए जो सबसे ज़्यादा पैसा हिलाती है — शॉर्टलिस्ट कट, QA पास मानक, एस्केलेशन गेट — और पता लगाइए कि उन्हीं मदों पर आपके अपने लोग कौन-सी दर निकालते। अगर तिमाही के अंत तक आप इसका जवाब नहीं दे सकते, तो आप कोई मापी हुई प्रक्रिया नहीं चला रहे। आप एक ऐसा आँकड़ा बता रहे हैं जिसे किसी ने जाँचा ही नहीं।