Scovai Scovai
Hiring 2026-11-13 1 min read

आपकी शॉर्टलिस्ट ज़्यादा विविध हो गई और नियुक्ति वैसी ही रही — 26,000 GPT मूल्यांकन बताते हैं कि पूर्वाग्रह हटता नहीं, जगह बदलता है

DSL

Dr. Sarah Liu

आपकी शॉर्टलिस्ट ज़्यादा विविध हो गई और नियुक्ति वैसी ही रही — 26,000 GPT मूल्यांकन बताते हैं कि पूर्वाग्रह हटता नहीं, जगह बदलता है

केवल संस्थापक के नाम में भिन्न, बाकी बिल्कुल एक जैसे स्टार्टअप पिचों के 26,000 मूल्यांकनों में GPT ने अश्वेत महिला नाम वाले पिचों के अंतिम स्थान पर आने की संभावना 8.8 प्रतिशत अंक घटा दी — जबकि आधार दर 25% थी। और उन्हीं लेखकों को "कोई सुसंगत प्रमाण नहीं मिला" कि किसी अल्पसंख्यक नाम वाले पिच के विजेता चुने जाने की संभावना बढ़ी हो — और विजेता होना ही वह इकलौता परिणाम था जो एक्सेलरेटर में प्रवेश दिलाता था (बोतेल्यो और वांग, Strategic Management Journal, 2026)। असमानता घटी नहीं। वह फ़नल के उस हिस्से में चली गई जिसे कोई नापता नहीं।

यह परिणाम बदलना चाहिए कि आप अपना AI भर्ती पूर्वाग्रह ऑडिट कहाँ केंद्रित करते हैं, क्योंकि इसके पीछे के दो आँकड़े ठीक उस स्क्रीनिंग व्यवस्था के हस्ताक्षर हैं जो सुधार दर्ज करती है पर सुधार देती नहीं।

अध्ययन ने वास्तव में क्या किया

बोतेल्यो और वांग (येल) ने 2020 से 2023 के बीच Y Combinator में चुने गए 2,000 स्टार्टअप के व्यवसाय विवरणों से पिच तैयार किए, फिर GPT को "एक प्रतिष्ठित एक्सेलरेटर के जज" की भूमिका दी, जिसने एक बार में चार पिचों के बैच को 0–100 के पैमाने पर अंक दिए। नियंत्रण स्थिति में पिचों पर कोई संस्थापक नाम नहीं था। प्रयोग स्थिति में वही पिच, उसी क्रम में, एक काल्पनिक नाम के साथ थे जो चार लिंग–नस्ल समूहों में से किसी एक का संकेत देता था। प्रति स्थिति पाँच सौ बैच। नाम से जुड़ी सामाजिक-आर्थिक स्थिति को घरेलू संपत्ति के आँकड़ों से नियंत्रित किया गया, जिससे यह सामान्य आपत्ति बंद हो जाती है कि नाम नस्ल नहीं बल्कि वर्ग का संकेतक हैं।

मुख्य निष्कर्ष एक विषमता है, अंतर नहीं:

  • अंतिम स्थान से बचाव। श्वेत पुरुष नाम वाले पिचों की तुलना में अल्पसंख्यक नाम वाले पिचों के अंतिम स्थान पर आने की संभावना कम थी — अश्वेत महिलाओं के लिए 8.8 अंक (p = .006), अश्वेत पुरुषों के लिए 6.0 (p = .070), श्वेत महिलाओं के लिए 4.0 (p = .204)। केवल पहला परंपरागत स्तर पर सार्थक है; बाकी दो को दिशा-सूचक मानें।
  • विजेता चयन। कोई सुसंगत प्रभाव नहीं। जिस परिणाम में असली इनाम था, वह हिला तक नहीं।
  • तर्क। GPT ने हर अंक को व्यावसायिक आधार पर उचित ठहराया — बाज़ार, ग्राहक समझ, उत्पाद नवाचार। एक भी तर्क ने लिंग, नस्ल, निष्पक्षता या अलाइनमेंट का उल्लेख नहीं किया।

यह पैटर्न अलग पैमाने, अलग पर्सोना, "सबसे ख़राब को हटाओ" वाली रूपरेखा, दूसरे कार्य-क्षेत्र और text-davinci-002 से GPT-4o तक पाँच मॉडल संस्करणों में टिका रहा। यह प्रॉम्प्ट की उपज नहीं है।

लेखक इस तंत्र को प्रतीकात्मक अनुपालन कहते हैं: मॉडल दृश्य रूप से भेदभावपूर्ण आउटपुट को दबा देता है, पर अपना मूल्यांकन-तर्क नहीं बदलता। यह शब्द जानबूझकर उन कंपनियों के शोध-साहित्य से लिया गया है जो विविधता-प्रथाएँ किसी बाहरी अनिवार्यता को संतुष्ट करने के लिए अपनाती हैं, निर्णय बदलने के लिए नहीं। आउटपुट अनुपालक दिखता है। निर्णय नहीं।

फ़नल का मध्य भाग उम्मीदवार को रोकने की सबसे बुरी जगह क्यों है

अंतिम स्थान की दर घटना तटस्थ बात नहीं है। यह प्रगति न होने का सबसे महँगा रूप है, और पेपर इसका कारण स्पष्ट बताता है।

सूची की तलहटी से बच जाना उम्मीदवार को मध्य पट्टी में रख देता है — शॉर्टलिस्ट, दूसरा दौर, "संभावनाशील, बात जारी रखते हैं" वाला ढेर। ये स्थितियाँ समय, तैयारी और प्रतिष्ठा की निरंतर पूँजी माँगती हैं। चयन की संभावना नहीं बढ़ातीं। बोतेल्यो और वांग, मूल्यांकन-फ़नल पर पूर्व शोध के आधार पर, तर्क देते हैं कि लंबे निवेश के बाद बार-बार देर से अस्वीकृति फ़नल से स्वैच्छिक निकासी पैदा करने के सबसे भरोसेमंद तरीकों में से एक है।

बड़े पैमाने पर स्क्रीनिंग चलाने वाले ऑपरेशंस प्रमुख के लिए अनुवाद साफ़ है। जो स्क्रीनर शॉर्टलिस्ट की बनावट सुधारता है पर ऑफ़र की बनावट अछूती छोड़ देता है, वह अधिक विविध पाइपलाइन नहीं बना रहा। वह उसी नियुक्ति तक पहुँचने के लिए उम्मीदवारों के और घंटे खर्च कर रहा है, और एक पूरी पीढ़ी को आवेदन करना बंद करना सिखा रहा है।

लूप में बैठे इंसान ने विश्वसनीय लगने वाले संस्करण को चुनौती नहीं दी

अध्ययन का दूसरा हिस्सा उन सबको असहज करना चाहिए जिनका निष्पक्षता-नियंत्रण यह है कि "हर AI सिफ़ारिश को एक रिक्रूटर देखता है।"

"Second Opinion" प्रयोगों में — और 18,000 मूल्यांकन — GPT ने उन्हीं पिचों की समीक्षा एक अनुकरणीय मानव जज के अंक और लिखित तर्क के साथ की। हर बैच में एक अल्पसंख्यक संस्थापक के अंक 25% घटाए गए, लगभग 20 अंक। दोनों स्थितियों में कटौती बिल्कुल समान थी। केवल बताया गया कारण भिन्न था: व्यवसाय-गुणवत्ता पर आलोचना, या एक पहचान-आधारित रूढ़ि जो लिंग या नस्ल का नाम कभी नहीं लेती थी।

GPT ने उस दंड को +1.8 अंक सुधारा जब कारण व्यावसायिक निर्णय जैसा लगा, और +3.2 अंक जब वह रूढ़ि जैसा लगा — एक ही अंकगणितीय अन्याय के प्रति संवेदनशीलता में 78% का अंतर (p < .001)। और बड़ा सुधार भी दिखावटी था: दोनों समायोजन मूल दंड का केवल 9% और 16% भरपाई कर पाए, और बैच-भीतर की रैंकिंग क्रमशः 500 में से 3 बैच और 500 में से 16 बैच में ही बदली। दोनों स्थितियों में विजेता चयन अपरिवर्तित रहा।

इसे परिचालन भाषा में पढ़िए। मॉडल पूर्वाग्रह का वह संस्करण पकड़ लेता है जिसे कोई लिखकर नहीं देता, और वह संस्करण जाने देता है जो हर अनुभवी समीक्षक वास्तव में तैयार करता है — वाणिज्यिक अनुकूलता, संवाद या परिपक्वता पर बचाव-योग्य लगने वाला एक अनुच्छेद।

विफलता उल्टी दिशा में भी चलती है। 228 मूल्यांकनकर्ताओं द्वारा 48 वास्तविक आवेदनों की स्क्रीनिंग वाले एक फ़ील्ड प्रयोग में ब्लैक-बॉक्स AI सिफ़ारिशों ने निर्णय-गुणवत्ता सुधारी, जबकि वही सिफ़ारिशें कथात्मक व्याख्या के साथ देने पर नहीं — मूल्यांकनकर्ता असमान रूप से अस्वीकृति की सिफ़ारिशों का पालन करते रहे, जिससे झूठे नकारात्मक बढ़े (लेन आदि, HBS Working Paper 25-001, 2024)। प्रवाहपूर्ण तर्क दोनों दिशाओं में सत्यापन की जगह ले लेता है। एक इंसान और एक मॉडल को क्रम में रखिए और आपके पास दो समीक्षक होंगे, जिनमें से हर एक दूसरे के गद्य पर सवाल उठाने से बच रहा है।

आपका AI भर्ती पूर्वाग्रह ऑडिट इसलिए पास हुआ क्योंकि आपने नमूना कहाँ लिया

यही वह हिस्सा है जो एक रणनीति पेपर को पहली तिमाही के निर्णय में बदल देता है।

अधिकांश स्क्रीनिंग ऑडिट प्रतिकूल प्रभाव को फ़नल के सबसे चौड़े बिंदु पर पढ़ते हैं, क्योंकि वहीं नमूना-आकार सुविधाजनक है और डेटा पहले से दर्ज है। यदि प्रमुख पूर्वाग्रह-तंत्र अंतिम स्थान का दमन है, तो ठीक वही चरण है जहाँ मीट्रिक सबसे अच्छी दिखेगी और सबसे कम अर्थ रखेगी।

दो और निष्कर्ष बात को धार देते हैं:

  • 156 नियोक्ताओं के यहाँ चालीस लाख से अधिक आवेदनों के ऑडिट में, जिन्हें एक ही वेंडर ने स्क्रीन किया था, पाया गया कि 10.62% पद अश्वेत आवेदकों के लिए EEOC के चार-पाँचवें नियम पर विफल रहे — यह पद-स्तरीय असमानता है जिसे वेंडर-स्तरीय निष्पक्षता प्रमाणन सामने नहीं लाता (Stanford HAI, 2026)।
  • 40 दौर वाले एक भर्ती सिमुलेशन में, जहाँ हर उम्मीदवार हर नौकरी में समान रूप से सफल हो सकता था, 15 मॉडलों ने काल्पनिक जनसांख्यिकी समूहों को नौकरी-कोष्ठकों में मानव प्रतिभागियों से लगभग 65% अधिक तीव्रता से विभाजित किया, और सबसे मजबूत तर्क-क्षमता वाले मॉडलों ने सबसे अधिक (प्रिंसटन और University of Chicago, ICML, 2026)। समूह-वार कुल नियुक्तियाँ स्थिर रह सकती हैं जबकि उसके नीचे भूमिका-आवंटन स्थिर नहीं होता।

तीन अलग तंत्र, एक साझा सबक: आप किस चरण पर और किस बारीकी से मापते हैं, यही तय करता है कि आपका ऑडिट क्या पकड़ सकता है। शॉर्टलिस्ट पर पढ़ा गया एक साफ़-सुथरा समेकित आँकड़ा निष्पक्ष प्रक्रिया का प्रमाण नहीं है। वह एक सुविधाजनक नमूना-बिंदु का प्रमाण है।

ईमानदार प्रतिवाद

दूसरी ओर एक वास्तविक तर्क मौजूद है। खुले तौर पर भेदभावपूर्ण आउटपुट को दबाना बेकार नहीं है — यह कानूनी जोखिम की एक श्रेणी और उम्मीदवार-क्षति की एक श्रेणी हटाता है जो पहले सामान्य थी, और उस मॉडल की तुलना में यह असली सुधार है जो ऐतिहासिक पूर्वाग्रह को खुले रूप में दोहराता है। बोतेल्यो और वांग इसके विपरीत कुछ नहीं कहते।

उनका दावा संकरा और खारिज करने में कठिन है: किसी मध्यवर्ती चरण पर दमन को चयन में प्रगति नहीं गिना जाना चाहिए, क्योंकि अध्ययन ने दोनों मापे और केवल एक हिला। यदि आपकी निष्पक्षता रिपोर्टिंग इन दोनों में अंतर नहीं कर पाती, तो वह एक ऐसी जीत दर्ज करेगी जो आपके ऑफ़र डेटा में है ही नहीं। और यह सावधानी दोनों तरफ़ काटती है — यह स्टार्टअप पिचों पर किया गया एक कम्प्यूटेशनल प्रयोग है, रिज़्यूमे स्क्रीनिंग का फ़ील्ड परीक्षण नहीं। आपके फ़नल पर इसका अनुप्रयोग एक अनुमान है। पेपर जिस माप-अनुशासन की वकालत करता है, वह इतना सस्ता है कि एक अनुमान के आधार पर भी अपनाया जा सके; विकल्प यह है कि आप एक प्रक्रिया को ऐसे मीट्रिक पर प्रमाणित करें जिसके बारे में शोध पहले से कहता है कि वह वैसे भी सुधरेगा।

इस तिमाही क्या बदलें

चार कदम, कम खर्च से अधिक की ओर।

1. मीट्रिक को उस निर्णय पर घुमाइए जिसमें इनाम है। समूह-वार चयन दर शॉर्टलिस्ट पर नहीं, ऑफ़र चरण पर निकालिए। यदि बजट केवल एक चरण को ठीक से मापने का है, तो अंतिम चरण मापिए। यदि असमानता शॉर्टलिस्ट-से-ऑफ़र रूपांतरण में बैठी है, तो शॉर्टलिस्ट की बनावट किसी चीज़ का अग्रिम संकेतक नहीं है।

2. समूह-वार और भूमिका-वार मापिए। भूमिका-स्तरीय विभाजन के साथ समेकित समानता वही विफलता-रूप है जो ICML सिमुलेशन ने साफ़ डेटा से पैदा किया। मासिक, समूह-वार, पद-परिवार-वार।

3. समीक्षक को नियंत्रण मानना बंद कीजिए। 1.8 बनाम 3.2 का परिणाम बताता है कि विश्वसनीय लगने वाले तर्क मशीन की समीक्षा से बच निकलते हैं, और 228 मूल्यांकनकर्ताओं का प्रयोग बताता है कि मशीन के तर्क मानव समीक्षा से बच निकलते हैं। समीक्षा का चरण तभी नियंत्रण है जब समीक्षक गद्य के बजाय संरचित इनपुट देखे — उप-स्कोर, वह घोषित आवश्यकता जिससे वह जुड़ता है, वह समूह-वितरण जिसमें उम्मीदवार बैठा था, और हर नियुक्ति के लिए दर्ज एक मानव निर्णय। यही चार दस्तावेज़ किसी ऑडिट को बाद में निर्णय पुनर्निर्मित करने देते हैं; स्कोरिंग और ऑडिट पर Scovai का एंटरप्राइज़ रुख इसी आधार पर प्रकाशित है, जिसमें आवश्यकताओं के अंकगणितीय कवरेज और अलग-अलग लेबल किए गए मॉडल उप-स्कोर के बीच स्थिर 50/50 विभाजन, और किसी भी जनसांख्यिकीय विशेषता को स्कोरिंग इनपुट से बाहर रखना शामिल है। आप जो भी व्यवस्था चलाते हों, पूछिए कि वह छह महीने बाद क्या दोबारा बना सकती है।

4. प्रकटीकरण का प्रश्न अनुबंध में लिखिए, क्रियान्वयन योजना में नहीं। अपने वेंडर से भूमिका-वार और चरण-वार प्रतिकूल प्रभाव का प्रकटीकरण माँगिए, जिसमें शॉर्टलिस्ट-से-ऑफ़र रूपांतरण शामिल हो। उत्तर, या इनकार, आपको बताएगा कि वार्षिक प्रमाणपत्र वास्तव में किस चीज़ का प्रमाण है।

इसमें से किसी के लिए नया मॉडल, नया वेंडर या विविधता पहल नहीं चाहिए। इसके लिए बस एक क्वेरी को फ़नल के शीर्ष से तल पर ले जाना है।

आपका AI भर्ती पूर्वाग्रह ऑडिट इस समय उसी चरण को माप रहा है जहाँ आपका स्क्रीनर सबसे अच्छा व्यवहार करता है। इसे उस चरण पर ले जाइए जहाँ ऑफ़र दिया जाता है, और इसी तिमाही पता लगाइए कि आपके विविधता आँकड़े आपकी पाइपलाइन बता रहे हैं या आपका नमूनाकरण।

Ready to go beyond the CV?

Scovai's AI-powered Talent Passport reveals what resumes can't: personality, potential, and true job fit.