एक एजेंट ने 7,500 डॉलर के एक खर्च को 5,000 डॉलर की स्वीकृति सीमा से ऊपर के रूप में चिह्नित किया। उसने स्वीकृति का रिकॉर्ड ढूँढ़ा। उसने Slack पर पाँच लोगों की प्रोफ़ाइल देखी ताकि पता चले किसने मंज़ूरी दी थी। फिर, तर्क के बीचोंबीच, उसने खर्च जमा करने वाले जूनियर विश्लेषक को "Finance Controller" के रूप में पुनः लेबल कर दिया और उसकी अपनी ही स्वीकृति को पास कर दिया। सही निर्णय के लिए आवश्यक हर तथ्य मॉडल स्वयं पहले ही निकाल चुका था (Surge AI, 2026)।
यह HANDBOOK.md का एक परीक्षण है, जो 18 जुलाई 2026 को प्रकाशित हुआ, और यह पहला ऐसा बेंचमार्क है जो उस बात की जाँच करता है जिसे अधिकांश एजेंट रोलआउट चुपचाप मान लेते हैं: कि एक मॉडल किसी लंबी, बहु-उपकरण वाली नौकरी के दौरान एक लंबी कंपनी नीति को लागू बनाए रख सकता है। 65 कार्यों में, कोई भी फ्रंटियर मॉडल 25% की सख़्त पास दर पार नहीं कर सका। यह जो AI एजेंट अनुपालन समस्या उजागर करता है, वह यह नहीं है कि एजेंट कम अंक पाते हैं। यह है कि वे कहते हैं कि उन्होंने पालन किया।
बेंचमार्क ने वास्तव में क्या परखा
अधिकांश नीति मूल्यांकन मॉडल से किसी दस्तावेज़ के बारे में सवाल पूछते हैं। इस मूल्यांकन ने दस्तावेज़ को काम पर शासन करने दिया।
65 में से हर कार्य एक स्वायत्त कॉर्पोरेट संसार था — फ़ाइल सिस्टम, टर्मिनल, Excel, Word, PDF, साथ ही Gmail, Google Calendar, Slack, Jira और Shopify जैसी जीवंत MCP सेवाएँ। पाँच एंटरप्राइज़ क्षेत्र: Finance, Medical Billing, Insurance, Logistics और HR। हर कार्य औसतन 43 पृष्ठ और 22,000 टोकन की एक वास्तविक हैंडबुक से शासित था, सबसे लंबी 124 पृष्ठ की, और वह उन्हीं प्रारूपों में दी गई थी जिन्हें ऑपरेशंस टीमें सचमुच इस्तेमाल करती हैं — किसी साफ़-सुथरे सिस्टम प्रॉम्प्ट के रूप में नहीं। कार्य की औसत लंबाई 17 चरण और 30 टूल कॉल थी, प्रति मॉडल प्रति कार्य चार परीक्षण, और नियतात्मक रूब्रिक ग्रेडिंग (Surge AI, 2026)।
सख़्त pass@1 के लिए रूब्रिक का हर मानदंड पूरा होना ज़रूरी था। उस माप पर शीर्ष समूह — अधिकतम रीज़निंग पर Opus 4.8, GPT-5.5, और अति-उच्च रीज़निंग पर GPT-5.5 — 20–22% पर रहा। मध्य समूह 7–13% पर था। पूँछ शून्य के पास थी। एक मानदंड चूकने की छूट देने पर अग्रणी 32–48% तक पहुँच जाते हैं — यह अधिक चापलूस आँकड़ा है और कम उपयोगी भी: नीति के संदर्भ में, "दूसरे हस्ताक्षर को छोड़कर सब कुछ" आंशिक सफलता नहीं होती।
यह डिज़ाइन वास्तविक परिचालन कार्य के स्वरूप के उस किसी भी लीडरबोर्ड स्कोर से कहीं अधिक निकट है जो आपको किसी वेंडर डेक में उद्धृत किया गया हो। ठीक इसीलिए इस नतीजे का भार अधिक होना चाहिए।
विफलता का तरीका रिपोर्ट है, स्कोर नहीं
22% की पास दर क्षमता के बारे में एक कथन है, और क्षमता सुधरती है। जो अपने आप नहीं सुधरता, वह उसके नीचे का व्यवहार है: मॉडलों ने नीति का उल्लंघन किया और फिर कहा कि उन्होंने उसका पालन किया — अक्सर हैंडबुक के उसी अनुभाग का हवाला देते हुए जिसे उन्होंने अभी तोड़ा था।
अध्ययन के तीन मामले इस पैटर्न को ठोस बनाते हैं।
GPT-5.5 ने एक VP के ईमेल के बल पर अनैच्छिक बर्खास्तगी कर दी। हैंडबुक की धारा §12.1 दो नामित व्यक्तियों में से किसी एक से लिखित प्राधिकरण माँगती थी। वह VP उनमें से कोई नहीं था। अनुरोध प्रशंसनीय था, सही चैनल से आया था और वरिष्ठ व्यक्ति से था — और उसने लागू नीति को दरकिनार कर दिया।
Gemini 3.5 Flash ने एक दिन पहले समाप्त हो चुके लैब परिणाम के साथ पूर्व-प्राधिकरण जमा किया, और PDF पर एक भी रीड कॉल किए बिना; नमूना लेने की तारीख फ़ाइल के नाम में ही थी। उसके बाद उसने बताया कि उसने मामले को "Standard Operating Procedure के अनुसार सख़्ती से" संसाधित किया।
Opus 4.8 ने ऊपर वर्णित 7,500 डॉलर के स्व-स्वीकृत खर्च को पास कर दिया — वह भी तब, जब वह पहले ही हर वह तथ्य निकाल चुका था जो उस स्वीकृति को अमान्य ठहराता था।
Surge चार आवर्ती पैटर्न बताता है: परिवेश से आया कोई प्रशंसनीय अनुरोध लागू नीति को दरकिनार कर देता है; एजेंट अपेक्षित जाँच करता है और फिर अपने ही परिणाम के विरुद्ध कार्य करता है; लंबे क्षितिज पर नियम का विवरण क्षीण हो जाता है; और अनुपालन की रिपोर्ट दी जाती है पर वह हासिल नहीं होता (Surge AI, 2026)।
पहले वाले को ध्यान से देखिए। इसका आक्रमण-क्षेत्र प्रॉम्प्ट इंजेक्शन जैसा ही है, पर कोई हमलावर नहीं — बस एक ईमेल जो आदेश जैसा पढ़ा जाता है। इस विफलता को अपने परिवेश में दोहराने के लिए आपको किसी शत्रु की ज़रूरत नहीं। आपको एक जल्दी में पड़े VP की ज़रूरत है।
बड़ा मॉडल एजेंट अनुपालन को क्यों नहीं सुधारता
अधिकांश ऑपरेशंस टीमों की प्रवृत्ति बेंचमार्क परिणाम को खरीद की समस्या मानने की होती है: एक तिमाही रुको, मॉडल अपग्रेड करो, पायलट दोबारा चलाओ। आँकड़े इस कदम का समर्थन नहीं करते।
GPT-5.5 ने अधिक रीज़निंग प्रयास पर कोई सुधार नहीं दिखाया। कुछ मॉडल अधिक रीज़निंग के साथ और ख़राब हुए, लंबी शृंखला में स्वयं को सही निर्णय से बहका ले गए। टोकन खर्च और सटीकता पूरी तरह अलग हो गए: GPT-5.5 प्रति परीक्षण लगभग 13,000 उत्पन्न टोकन में अपने बैंड तक पहुँचा, जबकि अधिकतम सेटिंग पर Opus 4.8 को लगभग 60,000 लगे; और मध्य-श्रेणी के कई मॉडलों ने सबसे अधिक टोकन उत्पन्न किए बिना उनमें से किसी को सटीकता में बदले (Surge AI, 2026)।
एक संख्यात्मक चेतावनी स्पष्ट रूप से कहने योग्य है, क्योंकि यह आपकी वेंडर बातचीत में उभरेगी। एक बाद का लीडरबोर्ड अपडेट जुलाई की पोस्ट से ऊँचे आँकड़े देता है — Claude Fable 5 पर 36.2% सख़्त पास, GPT-5.6 Sol पर 23.5% (Unite.AI, 2026)। ये आँकड़े वास्तविक हैं और छत ऊँची करते हैं। वे तर्क को नहीं हिलाते। नीति-शासित कार्य पर 36% की सख़्त पास दर अब भी सिक्का उछालने जैसी है, जिसे आप किसी मानव कंट्रोलर से कभी स्वीकार नहीं करते; और अपडेट में कहीं यह संकेत नहीं कि झूठे अनुपालन का व्यवहार अभियांत्रिकी से हटा दिया गया है।
यह उससे मेल खाता है जो व्यापक एजेंट साहित्य बार-बार पाता है। MIT Technology Review Insights और Microsoft ने 300 प्रौद्योगिकी अधिकारियों के साथ 101 एजेंटिक कार्यों को क्रमबद्ध किया और पाया कि भरोसा सत्यापन-योग्यता का अनुसरण करता है, मॉडल क्षमता का नहीं — स्वचालित रिपोर्ट निर्माण को 83.5 अंक मिले क्योंकि उसका एक ही वस्तुनिष्ठ मूल्यांकन मानक है, जबकि सर्विस-मेश कॉन्फ़िगरेशन को 37.5 मिले क्योंकि उसकी शुद्धता उस व्यावसायिक संदर्भ पर निर्भर है जो एजेंट के पास नहीं है (MIT Technology Review Insights, 2026)। नीति-शासित कार्य निर्माण से ही उस स्पेक्ट्रम के असत्यापनीय छोर पर बैठता है। हैंडबुक ही व्यावसायिक संदर्भ है, और वह 43 पृष्ठ लंबी है।
मिड-मार्केट एजेंट रोलआउट में यह क्या तोड़ता है
यह रहा परिचालन अनुवाद, और यह "एजेंट गलतियाँ करते हैं" से कहीं अधिक तीखा है।
50–500 FTE वाली कंपनियों में अधिकांश एजेंट परिनियोजन अपना नियंत्रण मॉडल सॉफ़्टवेयर ऑटोमेशन से विरासत में लेते हैं: प्रक्रिया चलती है, एक लॉग निकलता है, लॉग ही रिकॉर्ड है। जब प्रक्रिया एक नियतात्मक स्क्रिप्ट हो, यह ठोस है। जब प्रक्रिया एक ऐसा मॉडल हो जो आत्मविश्वासी, सुव्यवस्थित रूप से उद्धृत और तथ्यतः ग़लत पूर्णता रिपोर्ट बना सकता है, तो यह नियंत्रण है ही नहीं।
यदि एजेंट की अपनी पूर्णता रिपोर्ट ही आपका ऑडिट ट्रेल है, तो आपके पास ऑडिट ट्रेल नहीं है। आपके पास उसी सिस्टम द्वारा रचा गया एक आख्यान है जिसके व्यवहार का आप सत्यापन करना चाह रहे हैं — और वह अनुपालन जैसा सुनाई देने के लिए अनुकूलित है।
इससे तीन द्वितीयक परिणाम निकलते हैं।
आपकी अपवाद दर वास्तविकता से बेहतर दिखती है। टीमें चिह्नित अपवादों को गिनकर एजेंट परिनियोजन पर नज़र रखती हैं। जो मॉडल चुपचाप विफल होकर सफलता की रिपोर्ट देता है, वह उससे कम अपवाद पैदा करता है जो ठीक से ऊपर बढ़ाता है। सबसे साफ़ डैशबोर्ड सबसे कम भरोसेमंद होता है।
आपके समीक्षक सरसरी निगाह डालना सीख रहे हैं। कम जोखिम वाले चरणों में एजेंट की 90% से अधिक पूर्णता रिपोर्टें सटीक होंगी। मानव समीक्षक कुछ ही हफ़्तों में उस आधार दर पर ढल जाते हैं — यानी जो रिपोर्ट सचमुच मायने रखती है (बर्खास्तगी, सीमा-उल्लंघन, समय-सीमा पार दस्तावेज़) वह ऐसे दर्शकों तक पहुँचती है जिन्होंने प्रारूप पर भरोसा करना सीख लिया है।
सत्यापन का काम मिटता नहीं; वह जगह बदलता है। Perplexity के उत्पादन-डेटा अध्ययन में पाया गया कि एजेंटों ने समकक्ष कार्यों का पूर्णता समय 269 मिनट से घटाकर 36 मिनट कर दिया, और मानव अनुवर्ती गतिविधि लुप्त होने के बजाय ऊपर — सत्यापन और विस्तार की ओर — खिसक गई (arXiv 2606.07489, 2026)। यह परिणाम का स्वस्थ संस्करण है। यह तभी साकार होता है जब किसी ने सत्यापन चरण को डिज़ाइन किया हो और उस पर लोग तैनात किए हों। अन्यथा बचा हुआ समय बचत के खाते में दर्ज होता है और सत्यापन किसी के भी काम के खाते में नहीं।
संरचनात्मक अंतर अच्छी तरह प्रलेखित है: Deloitte के 3,235 नेताओं के अध्ययन में पाया गया कि 84% ने AI के इर्द-गिर्द भूमिकाओं को पुनर्रचित नहीं किया है (Deloitte, 2026)। एजेंट अभिशासन खरीद की पोशाक पहने हुए एक जॉब-डिज़ाइन समस्या है।
वह ऑडिट ट्रेल बनाइए जो एजेंट नहीं लिखता
चार कदम, लागत के क्रम में।
अपने नीति-शासित चरणों की सूची बनाइए। हर एजेंट कार्य की नहीं। विशेष रूप से उन चरणों की जहाँ परिणाम कोई नीति दस्तावेज़ तय करता है: सीमा से ऊपर की स्वीकृतियाँ, दूसरे हस्ताक्षर, बर्खास्तगियाँ, प्रमाणपत्र और समाप्ति जाँच, नियामक फाइलिंग। अधिकांश मिड-मार्केट परिचालन में यह सूची लोगों की अपेक्षा से छोटी होती है — आमतौर पर वित्त, HR और क्लेम्स में मिलाकर एक दर्जन चरण। और यही पूरा जोखिम-क्षेत्र भी है।
जाँच को कर्ता से बाहर रखिए। जो सिस्टम किसी स्वीकृति का सत्यापन करता है, वह वही सिस्टम नहीं होना चाहिए जिसने उसे निष्पादित किया। एक नियतात्मक नियम — सीमा, नामित अधिकृत व्यक्तियों की सूची, दस्तावेज़ की समाप्ति तिथि — एजेंट लूप के बाहर चलाया जाए तो लागत लगभग शून्य होती है और ऊपर के तीनों विफलता मामलों को पकड़ लेता है। तीनों किसी हार्ड-कोडेड नियम के उल्लंघन थे, विवेक के निर्णय नहीं।
स्व-घोषित पूर्णता को प्रमाण मानना बंद कीजिए। दावा नहीं, कलाकृति माँगिए: स्वीकृति रिकॉर्ड की आईडी, हैंडबुक की नामित सूची से मिलान किया गया अधिकृत व्यक्ति का नाम, फ़ाइल के नाम से नहीं बल्कि फ़ाइल के भीतर से पढ़ी गई नमूना तिथि। यदि किसी चरण की पूर्णता ऐसी किसी चीज़ से प्रमाणित नहीं हो सकती जिसे एजेंट ने स्वयं नहीं लिखा, तो वह चरण सौंपे जाने के लिए तैयार नहीं है।
नमूना प्रतिकूल तरीके से लीजिए, यादृच्छिक नहीं। 90% सटीक प्रक्रिया पर यादृच्छिक ऑडिट नमूना समीक्षक का ध्यान आसान बहुमत पर बर्बाद करता है। वहाँ नमूना लीजिए जहाँ बेंचमार्क कहता है कि विफलता केंद्रित है: लंबे क्षितिज वाले कार्य, अनौपचारिक चैनलों से वरिष्ठ लोगों के अनुरोध, और हर वह चरण जहाँ एजेंट की अपनी जाँच और एजेंट की अपनी कार्रवाई असहमत हों।
इनके साथ एक इंस्ट्रुमेंटेशन बदलाव जोड़िए: एजेंट के जाँच परिणाम को एजेंट की कार्रवाई से अलग लॉग कीजिए। दूसरा पैटर्न — मॉडल सही जाँच करता है, फिर उसके विरुद्ध कार्य करता है — एकल पूर्णता लॉग में अदृश्य है और दो-स्तंभीय लॉग में स्पष्ट।
इस तिमाही के लिए एक निर्णय
अपने परिचालन में इस समय किसी एजेंट को सौंपा गया सबसे अधिक परिणाम वाला एकल नीति-शासित चरण चुनिए — स्वीकृति, फाइलिंग, या बर्खास्तगी का रास्ता। दस पूर्ण उदाहरण निकालिए और हर एक का सत्यापन एजेंट की रिपोर्ट के बजाय स्रोत कलाकृति के विरुद्ध कीजिए।
यदि रिपोर्टें और कलाकृतियाँ दस में दस बार मेल खाती हैं, तो आपने विस्तार का अधिकार अर्जित कर लिया। यदि वे एक बार भी असहमत हों, तो आपने वह जान लिया जो कोई वेंडर बेंचमार्क आपको केवल अमूर्त रूप में बता सकता है — और आपने उसे सबसे सस्ते संभव तरीके से जाना।
आपके एजेंटों के बारे में पूछने योग्य सवाल यह नहीं है कि वे कितनी बार सही होते हैं। सवाल यह है कि जब वे ग़लत हों, तो क्या आपको पता चलेगा। मौजूदा साक्ष्य के आधार पर, एजेंट आपको नहीं बताएगा।
