Scovai Scovai
AI & Operations 2026-11-16 1 min read

वही 15 मिनट की AI पहुँच, छँटाई के बाद खिसका दी गई, तो टीमों को कुछ नहीं मिला। दस अग्रणी मॉडल अंतर पकड़ ही नहीं पाए।

DSL

Dr. Sarah Liu

वही 15 मिनट की AI पहुँच, छँटाई के बाद खिसका दी गई, तो टीमों को कुछ नहीं मिला। दस अग्रणी मॉडल अंतर पकड़ ही नहीं पाए।

वही मॉडल। वही पंद्रह मिनट। वही काम। उस खिड़की को घंटे के पहले आधे हिस्से से दूसरे आधे में खिसका दीजिए, और विशेषज्ञों द्वारा आँकी गई रचनात्मकता 0.62 मानक विचलन गिर जाती है (Huang, Yu, Chen और Zhou, 2026)। औज़ार में कुछ नहीं बदला — बदला सिर्फ़ वह क्षण जब टीम को उसे छूने की इजाज़त मिली। यह निष्कर्ष AI पहुँच के समय को एक ऐसा विन्यास-निर्णय बना देता है जिसकी कीमत नापी जा सकती है, और ज़्यादातर कंपनियों में यह वह निर्णय है जो किसी ने लिया ही नहीं: सहायक बस चालू है, हमेशा, सबके लिए।

यह अध्ययन एक पूर्व-पंजीकृत प्रयोगशाला प्रयोग है जिसमें तीन-तीन लोगों की 148 टीमें (444 प्रतिभागी) 40 मिनट के उत्पाद-डिज़ाइन कार्य के दौरान एक ही भाषा मॉडल तक पहुँच की पाँच अलग-अलग समय-सारणियों में यादृच्छिक रूप से बाँटी गईं। कार्य में 15 मिनट का खोज चरण, 15 मिनट का चयन चरण और एक विकास चरण था। निर्णय-द्वार — लेखक इसे the screen, यानी छँटाई कहते हैं — हर स्थिति में 15वें मिनट पर पड़ता था।

प्रयोग ने असल में क्या खिसकाया

पाँच स्थितियाँ: सहायक केवल खोज के दौरान, केवल चयन के दौरान, पूरे समय, कभी नहीं, और खोज के दौरान अति-निर्भरता की एक स्थायी चेतावनी के साथ। मंच हर खिड़की को लागू करता था, और दर्ज की गई सभी 2,124 क्वेरी अपनी-अपनी निर्धारित खिड़की के भीतर ही पड़ीं। सहायक एक ही मॉडल था (DeepSeek V3.2), तापमान 0.1 पर। पाँच से दस वर्ष के उद्योग अनुभव वाले चार मूल्यांकनकर्ताओं ने हर प्रस्तुति को गुप्त रूप से अंक दिए।

मुख्य विरोधाभास खोज-चरण की पहुँच बनाम चयन-चरण की पहुँच है: आकलन पैमाने पर 0.356 अंक, 95% CI [0.064, 0.648], Welch p = 0.018, जिसे लेखक 0.62 मानक विचलन के रूप में दर्ज करते हैं। यह सभी आठ विरोधाभासों पर उनके पूर्व-पंजीकृत Benjamini-Hochberg संशोधन से बचा रहता है।

बिना-AI वाले नियंत्रण समूह के मुक़ाबले तस्वीर और साफ़ होती है:

स्थितिबिना-AI की तुलना में लाभp मान
खोज के दौरान पहुँच+0.486 अंक0.002
पूरे समय पहुँच+0.479 अंक0.002
केवल चयन के दौरान पहुँच+0.130 अंक0.43

इस तालिका में दो बातें दोबारा पढ़ने लायक हैं। पहली, देर से मिली पहुँच से कोई नापने योग्य लाभ नहीं हुआ — पर इससे टीमें बिल्कुल AI न होने की तुलना में बदतर भी नहीं हुईं। लेखक स्पष्ट हैं: उन्हें किसी दंड-प्रभाव का सीधा प्रमाण नहीं मिलता; लागत एक छूटा हुआ प्रीमियम है, क्षति नहीं। दूसरी, खोज-चरण की पहुँच के ऊपर चयन-चरण की पहुँच जोड़ने से कुछ नहीं मिला: निरंतर बनाम केवल-जल्दी का अंतर −0.007 अंक है। पूरा प्रतिफल पहली खिड़की में ही था।

AI पहुँच का समय प्रतिफल क्यों तय करता है

मंच के लॉग तंत्र को ठीक-ठीक पकड़ते हैं, और मामला मेहनत या उपयोग-दर का नहीं है। सभी स्थितियों में टीमों ने मॉडल का इस्तेमाल लगभग समान दर से किया।

जल्दी पहुँच वाली टीमें द्वार तक लिखी हुई 19.8 अलग-अलग विचारों के साथ पहुँचीं, जबकि बिना-AI वाली टीमों के पास 3.9 थे — पाँच गुना बड़ा भंडार। इसका अधिकांश मशीन से निकला था (18.6 विचार), और टीमों के अपने लिखे विचार असल में 3.9 से गिरकर 1.3 रह गए। सहायक ने भंडार कई गुना करते हुए उनकी अपनी विचार-रचना का एक हिस्सा विस्थापित कर दिया। फिर उन्होंने छाँटा: जुटाए गए विचारों का लगभग एक-तिहाई (32%) प्रस्तुति में दोबारा आया — वही अनुपात जो बिना-AI टीमों का था — और प्रस्तुतियों में 2.9 प्रस्ताव थे।

पूरी कहानी यही है। चौड़ा भंडार, फिर मानवीय छँटाई, फिर संकरी प्रतिबद्धता।

देर से पहुँच वाली टीमें उसी द्वार तक 3.8 विचारों के साथ पहुँचीं — नियंत्रण समूह के 3.9 से सांख्यिकीय रूप से समान, ठीक वैसे ही जैसे यादृच्छिकीकरण से अपेक्षित है। फिर उन्हें मॉडल सौंपा गया, और उन्होंने उसका इस्तेमाल चुनने के लिए नहीं किया। उन्होंने उसका इस्तेमाल दोबारा खोजने के लिए किया। खिड़की, सिस्टम प्रॉम्प्ट और मॉडल स्थिर रखते हुए — देर से पहुँच बनाम निरंतर पहुँच, यही साफ़ तुलना है — देर से पहुँच वाली टीमों ने अपने चयन-चरण की 29% क्वेरी नए विकल्प गढ़ने में लगाईं, जबकि उन टीमों में यह 11% थी जिनके पास खोज के दौरान पहले से सहायक था।

परिणाम इसमें दिखता है कि बचा क्या। देर से पहुँच वाली टीमों के प्रस्तुत पाठ का केवल 5% हिस्सा द्वार से पहले मौजूद था, जबकि बिना-AI टीमों में 22% और जल्दी पहुँच वाली टीमों में 71%। देर से आए विकल्प छँटे हुए समुच्चय में जुड़े नहीं। उन्होंने उसकी जगह ले ली। वाक्य-एम्बेडिंग आधारित समानता भी यही पैटर्न देती है, यानी यह सहायक द्वारा टीमों के पहले से मौजूद विचारों को दोबारा शब्द देने का मामला नहीं है।

वे विकल्प जो टीम से कभी मिले ही नहीं

समीक्षा-प्रक्रिया चलाने वाले हर व्यक्ति के लिए एक ब्योरा ध्यान देने लायक है। देर से पहुँच वाली टीमों में मशीन से निकली सामग्री 9.6% मामलों में प्रस्तुतियों में पहुँची बिना कभी साथी सदस्यों के साथ साझा हुए, जबकि जल्दी पहुँच में यह 3.9% था। जब लेखक अनुरोध का प्रकार स्थिर रखते हैं, दोनों स्थितियों के बीच अधिकांश अंतर सिकुड़ जाते हैं और सार्थकता खो देते हैं — पर बिना साझा हुए अपनाया जाना टिका रहता है। काम के आख़िरी हिस्से में, जब निर्णय लंबित हो, उत्पादन सीधे प्रस्तुति में चला जाता है, दूसरी जोड़ी आँखों से गुज़रे बिना।

यह वही विफलता है जिसे सत्यापन कर मैदान में नापता है: 52% कर्मचारी नियमित रूप से सहकर्मियों द्वारा तैयार AI-जनित काम सुधारते हैं, और 42% AI के उत्पादन की जाँच में उससे ज़्यादा समय लगाते हैं जितना उसे इस्तेमाल करके बचाते हैं (Adaptavist, 2026)। बिना छँटा उत्पादन गायब नहीं होता। वह एक क़दम आगे जाकर किसी और की छँटाई की समस्या बन जाता है।

देर से मिली पहुँच ने चौड़ाई ख़रीदी, और चौड़ाई गुणवत्ता नहीं है

देर से पहुँच वाली टीमें निष्क्रिय नहीं थीं। उन्होंने ज़्यादा बनाया। प्रति प्रस्तुति प्रस्तावों की संख्या नियंत्रण समूह के मुक़ाबले 1.53 बढ़ी (SE 0.54, p = 0.005) — 2.10 प्रस्तावों के नियंत्रण औसत पर 73% की बढ़ोतरी, और जल्दी पहुँच में हुई बढ़ोतरी से दोगुनी।

मानव मूल्यांकनकर्ताओं ने इसका इनाम नहीं दिया। टीमों के आर-पार, हर अतिरिक्त प्रस्ताव 0.179 अंक कम आकलन से जुड़ा था। विकल्प ज़्यादा आए और प्रति विकल्प गुणवत्ता गिरी — जो अपेक्षित ही है जब एक निश्चित विकास-बजट ज़्यादा उम्मीदवारों में बँट जाए।

संचालन प्रमुख के लिए समस्या का आकार यही है: देर से मिली AI पहुँच दृश्यमान उत्पादन को भरोसेमंद ढंग से बढ़ाती है और आँकी गई गुणवत्ता बढ़ाने में उतने ही भरोसे के साथ नाकाम रहती है। अगर आपका डैशबोर्ड बनी हुई चीज़ें गिनता है, तो देर से मिली पहुँच जीत जैसी दिखेगी।

ईमानदार प्रति-तर्क: इस निष्कर्ष के भीतर एक अंकन-नियम बैठा है

प्रति-तर्क लेखक स्वयं चलाते हैं, और यही शोध का सबसे उपयोगी हिस्सा है। चौड़ाई को श्रेय दीजिए, और फ़ैसला सरक जाता है।

हर टीम के अंक में प्रति प्रस्ताव γ अंक जोड़िए, और जल्दी की देर पर बढ़त γ = 0 पर 0.356 से घटकर γ = 0.1 पर 0.279, और γ = 0.2 पर 0.203 (p = 0.076) रह जाती है, तथा γ = 0.46 पर पूरी तरह मिट जाती है। प्रति प्रस्ताव महज़ 0.1 अंक के श्रेय पर देर से मिली पहुँच बिना-AI नियंत्रण समूह से आगे निकल जाती है। जल्दी पहुँच औसत प्रस्ताव पर 0.356 और सर्वश्रेष्ठ प्रस्ताव पर 0.221 से आगे है, और कुल योग पर पलट जाती है — देर से पहुँच वाली टीमें कुल मिलाकर ज़्यादा अंक जोड़ती हैं।

इसलिए ईमानदार कथन सशर्त है: अगर आपको एक मज़बूत प्रतिबद्धता चाहिए, तो सहायक टीम को छँटाई से पहले दीजिए। अगर आपको आगे ले जाने के लिए विकल्पों का चौड़ा दायरा चाहिए, तो देर से मिली पहुँच कोई विफलता-प्रणाली नहीं है। ग़लती है चुनाव न करना। हमेशा चालू रहने वाला सहायक इस पैरामीटर को डिफ़ॉल्ट से तय कर देता है, और प्रतिबद्धता वाले काम के लिए डिफ़ॉल्ट ही महँगा विकल्प है।

इस अध्ययन के किसी भी आंतरिक सारांश में तीन और सीमाएँ दर्ज होनी चाहिए। प्रतिभागी चीन के 444 विश्वविद्यालय छात्र थे, औसत आयु 21.6 वर्ष, एक ही मॉडल के साथ 40 मिनट का संरचित कार्य — लेखक साफ़ कहते हैं कि उनका डिज़ाइन "परिवेश की व्यापकता को स्वच्छ पहचान के बदले में देता है"। डिज़ाइन d ≈ 0.74 के लिए सक्षम था और उसने g = 0.62 पाया, इसलिए यह कसकर आँका गया प्रभाव नहीं है, भले ही वह संशोधन से बचा रहे। और जल्दी-बनाम-देर की तुलना में एक प्रॉम्प्ट-भ्रम है जिसे लेखक ख़ुद उजागर करते हैं: सिस्टम प्रॉम्प्ट चरण के हिसाब से तय था, यानी खोज-चरण के सहायक से कहा गया था कि गढ़े और चयन-चरण के सहायक से कि निखारे। वह तुलना जो प्रॉम्प्ट, खिड़की और मॉडल तीनों स्थिर रखती है, वह है देर से पहुँच बनाम निरंतर पहुँच — यानी 29% बनाम 11% वाला परिणाम, और वह भी उसी दिशा में इशारा करता है।

आपका AI मूल्यांकनकर्ता इसे नहीं पकड़ेगा

यह रहा वह निष्कर्ष जिसे किसी राय को नहीं, बल्कि किसी प्रक्रिया को बदलना चाहिए।

हर प्रस्ताव को पाँच मॉडल परिवारों के दस अग्रणी भाषा मॉडलों ने भी, मानव विशेषज्ञों वाली उसी मूल्यांकन-सूची से, अंक दिए। यह पैनल आंतरिक रूप से संगत था और इसके टीम-अंक मानव पैनल के अंकों से 0.61 पर सहसंबद्ध थे। इसने AI पहुँच के सकल लाभ को सही पकड़ा, हर पहुँच-स्थिति को नियंत्रण समूह से 0.58 से 1.41 मानक विचलन ऊपर रखा।

पर समय की लागत यह बिल्कुल नहीं देख पाया। जल्दी-बनाम-देर का विरोधाभास मानव आकलनों में 0.59 मानक विचलन (p = 0.019) और मॉडल पैनल में −0.08 (p = 0.77) रहा। सहायक के सबसे नज़दीकी मॉडल को हटाने पर यह −0.10 रहता है; दोनों DeepSeek मॉडल हटाने पर −0.08 रहता है, यानी यह आत्म-पक्षपात नहीं है। यह अंधापन हर आयाम पर दिखता है — मौलिकता, उपयुक्तता, विस्तार, पाठ की गुणवत्ता — जहाँ मानव विशेषज्ञों को 0.5 से 0.7 SD के अंतर दिखे।

व्याख्या का एक हिस्सा यांत्रिक है। मानव मूल्यांकनकर्ताओं ने हर अतिरिक्त प्रस्ताव पर 0.179 अंक काटे; मॉडल पैनल ने 0.063 काटे। पैनल ने चौड़ाई की क़ीमत वैसे नहीं लगाई जैसे विशेषज्ञों ने लगाई, और चौड़ाई ठीक वही है जो देर से मिली पहुँच ने पैदा की।

लेखकों का अपना वाक्य वही है जिसे किसी संचालन-समिति में ले जाना चाहिए: जो संगठन AI-सहायित काम का मूल्यांकन AI न्यायाधीशों से कराता है, वह "देखेगा कि सहायता से मदद मिलती है, पर यह नहीं देखेगा कि उसका समय मायने रखता है"।

यह किसी एक मूल्यांकन-सूची का इकलौता नतीजा नहीं है। मूल्यांकन की परतें अपने गुणधर्मों वाले मापक यंत्र हैं, और वे खिसकती हैं: एजेंट-उत्पादन की समीक्षा के एक अनुदैर्ध्य अध्ययन में, मई में जुड़े एक सख़्त समीक्षक ने समान बैचों को 0.79 SD कम अंक दिए और कच्चे आँकड़ों में 0.53 SD के एक वास्तविक सुधार-रुझान को सपाट कर दिया (एजेंट मूल्यांकन में मूल्यांकनकर्ता प्रभाव, 2026)। आपका न्यायाधीश मानव हो या मॉडल, किसी तैनाती को अंक देने की इजाज़त देने से पहले उसे किसी चीज़ के सापेक्ष अंशांकित करना ज़रूरी है।

क्षमता के पक्ष में एक उल्लेखनीय समानांतर भी है। 133 पेटेंट वकीलों के साथ तीन महीने के एक यादृच्छिक परीक्षण में, AI पहुँच ने 90वें दिन तक सौंपे गए काम की गुणवत्ता 0.38 SD बढ़ाई — और जब औज़ार हटा लिया गया, तो बची हुई बढ़त 0.45 SD के साथ वरिष्ठ वकीलों में केंद्रित थी, जबकि कनिष्ठों ने औसतन कोई लाभ नहीं दिखाया (Autor आदि, NBER w35720, 2026)। सौंपी गई गुणवत्ता और उसके नीचे का विवेक अलग हो गए। समय पर हुआ यह अध्ययन वही सबक़ एक स्तर ऊपर दोहराता है: कृति ठीक दिखती है जबकि वह प्रक्रिया चली ही नहीं जिसे उसे बनाना चाहिए था।

इस तिमाही AI पहुँच के समय पर संचालन प्रमुख को क्या करना चाहिए

लागत के क्रम में चार ठोस क़दम।

  1. अपनी छँटाइयाँ खोजिए और उन्हें लिख लीजिए। अपने दो या तीन सबसे अहम आवर्ती कार्यप्रवाहों के लिए उस क्षण को नाम दीजिए जहाँ विकल्पों का समुच्चय बंद होता है और प्रतिबद्धता शुरू होती है। ज़्यादातर टीमें उस क्षण की ओर इशारा नहीं कर पातीं, और पहुँच का समय ग़लत बैठने की पूर्व-शर्त यही है।
  2. हर कार्यप्रवाह के लिए तय कीजिए कि आप गहराई ख़रीद रहे हैं या चौड़ाई। यह γ वाला सवाल ठोस रूप में है। प्रतिबद्धता वाला काम — एक प्रस्ताव, एक आपूर्तिकर्ता, एक योजना — सहायक को छँटाई से पहले चाहता है। दायरे वाला काम उसे बाद में चाहता है। जवाब कार्यप्रवाह की परिभाषा में लिखिए, न कि उस पर छोड़िए जो चैट विंडो खोल ले।
  3. छँटाई के बाद AI के उपयोग को विकास तक सीमित रखिए, रचना तक नहीं। 29% बनाम 11% का अंतर ही नापने योग्य विफलता है। जहाँ सहायक का पहला योगदान अनिवार्य रूप से देर से आता हो, वहाँ अनिवार्य कीजिए कि देर का उत्पादन पहले से चुने हुए से तुलना में रखा जाए, न कि बिना छँटे उससे होड़ करे।
  4. किसी फ़ैसले पर भरोसा करने से पहले अपने मूल्यांकनकर्ता को परखिए। एक बैच को अपने स्वचालित न्यायाधीश और दो अनुभवी मनुष्यों — दोनों से अंकित कराइए, और उन्हीं विरोधाभासों की तुलना कीजिए जो आपके लिए सचमुच मायने रखते हैं, महज़ समग्र सहमति की नहीं। जो पैनल स्तरों पर 0.61 पर सहसंबद्ध है, वह भी उस तुलना पर −0.08 लौटा सकता है जो असल में मायने रखती है।

तीसरा और चौथा बिंदु विन्यास के सवाल हैं, प्रशिक्षण के नहीं, और इसीलिए प्रति-कार्य शासन एक सपाट नीति से बेहतर है। जहाँ यह काम किसी दस्तावेज़ में नहीं बल्कि किसी मंच पर होता है, वहाँ प्रासंगिक नियंत्रण वही हैं जो एकल क्रिया के स्तर पर बैठते हैं: Scovai के Digital Employees डिफ़ॉल्ट रूप से confirm-first हैं, जिनमें स्वायत्तता क्रिया के प्रकार के हिसाब से एक दर्ज अनुमोदन-बही से अर्जित होती है और occupancy हर पद के लिए अलग तय होती है — ताकि "सहायक किसी चुने हुए विकल्प को विकसित कर सकता है पर द्वार के बाद नया विकल्प नहीं खोल सकता" एक लागू की गई सेटिंग बन जाए जिसका ऑडिट निशान हो, न कि किसी नियम-पुस्तिका की वह पंक्ति जिसे 22वें मिनट पर कोई नहीं पढ़ता।

ग़ौर कीजिए कि इसमें से किसी के लिए क्या नहीं चाहिए। कोई नया औज़ार नहीं, कोई नई बजट मद नहीं, कोई मॉडल प्रवासन नहीं। प्रयोग ने वह एक पैरामीटर बदला जिसे आपकी कंपनी पहले से ही संयोगवश तय कर रही है, हर दिन, हर उस कार्यप्रवाह में जहाँ किसी ने चैट विंडो खोल रखी है।

इस तिमाही का अपना सबसे अहम आवर्ती निर्णय चुनिए और उसके बारे में एक सवाल पूछिए: AI छँटाई से पहले आता है, या बाद में? अगर कोई जवाब नहीं दे पाता, तो आप AI पायलट नहीं चला रहे। आप डिफ़ॉल्ट से महँगी स्थिति चला रहे हैं — और अगर उसे कोई AI न्यायाधीश अंक दे रहा है, तो आपकी रिपोर्टिंग में कुछ भी आपको यह कभी नहीं बताएगा।

Ready to go beyond the CV?

Scovai's AI-powered Talent Passport reveals what resumes can't: personality, potential, and true job fit.