What Good AI Actually Evaluates

असल प्रश्न यह नहीं है कि क्या कोई उपकरण AI का उपयोग करता है। असल प्रश्न यह है कि क्या उपकरण ऐसे संकेत मापता है जो प्रदर्शन की भविष्यवाणी करते हैं न कि वे प्रॉक्सी जो केवल सुविधाजनक दिखते हैं।

March 4, 20266 मिनट पढ़ें
What Good AI Actually Evaluates

अंतर्दृष्टि पूर्वावलोकन

What Good AI Actually Evaluates

भाग 1 ने एक रेखा खींची जिसे भर्ती प्रौद्योगिकी बाजार धुंधला करने की कड़ी कोशिश कर रहा है: एक टूटी हुई प्रक्रिया को स्वचालित करने और भर्ती गुणवत्ता में सुधार करने में बड़ा अंतर है।

यह लेख दूसरे मार्ग के बारे में है। यदि कोई सिस्टम बुद्धिमत्ता का दावा करने जा रहा है, तो उसे यह समझाने में सक्षम होना चाहिए कि वह वास्तव में क्या मूल्यांकन करता है और वह संकेत क्यों महत्वपूर्ण है।

संकेतों की समस्या

हर AI हायरिंग टूल कुछ न कुछ आंकता है। असली सवाल यह है कि वह कुछ क्या उस परिणाम की भविष्यवाणी करता है जिसकी आपको परवाह है: क्या कोई व्यक्ति किसी विशेष भूमिका में, किसी विशेष वातावरण में अच्छा प्रदर्शन करेगा।

अधिकांश सिस्टम अभी भी प्रॉक्सी का मूल्यांकन करते हैं। पदनाम, अनुभव के वर्ष, प्रमाणपत्र और कीवर्ड घनत्व अक्सर परिणामों के साथ इतने संबंधित होते हैं कि वे उपयोगी लगते हैं, लेकिन सहसंबंध भविष्यवाणी के समान नहीं होता।

यही अंतर अनेक भर्ती असफलताओं का घर है। Harvard Business School और Accenture ने दस्तावेज़ित किया है कि योग्य उम्मीदवार नियमित रूप से कम प्राथमिकता दिए जाते हैं क्योंकि उनकी पृष्ठभूमियाँ सही संकेतक पैदा नहीं करतीं, भले ही उनकी मूल क्षमता मौजूद हो।

वास्तविक क्षमताओं का मूल्यांकन एक अलग आधार से शुरू होता है: कोई व्यक्ति क्या कर सकता है, वे समस्याओं को कैसे हल करते हैं, और समान संदर्भों में उनका प्रदर्शन रिज़्यूमे के दृश्य स्वरूप की तुलना में अधिक मायने रखता है।

दो उम्मीदवार साथ खड़े हैं, जबकि एक के चारों ओर रिज्यूमे से परे समृद्ध क्षमता और परिणाम संकेत मौजूद हैं।
सबसे मजबूत संकेत अक्सर उस दिखने वाले रिज्यूमे संक्षेप के बाहर रहते हैं जिसे अधिकांश टूल रैंक करने के लिए बनाए गए थे।

वास्तविक क्षमताओं के मूल्यांकन में क्या देखा जाता है

प्रदर्शित कार्य उत्पाद। पहला प्रश्न है कि उम्मीदवार ने वास्तव में क्या बनाया, बदला, या हल किया है, न कि केवल उनके नाममात्र के उत्तरदायित्व क्या थे।

समस्या-समाधान का दृष्टिकोण। कोई व्यक्ति चुनौती को कैसे तर्कसंगत ढंग से हल करता है, अक्सर यह अधिक भविष्यसूचक होता है बनिस्बत इसके कि उन्होंने पहले एक समान परिदृश्य देखा था या नहीं।

संदर्भ-विशेष फिट। एक संगठन में मजबूत उम्मीदवार दूसरे संगठन में असफल हो सकता है यदि नेतृत्व शैली, टीम की संरचना, या परिचालन परिस्थितियाँ मूलतः भिन्न हों।

प्रवृत्ति, न कि स्नैपशॉट। एक रिज़्यूमे एक क्षण को पकड़ता है। बेहतर मूल्यांकन यह देखता है कि किसी व्यक्ति ने समय के साथ कैसे विकास किया है और क्या उनकी क्षमता लगातार बढ़ रही है।

फ्रेम में रखे गए भर्ती परिणाम और फ़िल्म रील जो एक ही रिज्यूमे स्नैपशॉट की बजाय समय के साथ सबूत को दर्शाती है।
क्षमता मूल्यांकन प्रदर्शित कार्य और प्रगति को देखता है, न कि केवल आपके सामने सबसे परिष्कृत स्नैपशॉट को।

क्यों सामान्यीकृत मॉडल यह अच्छी तरह नहीं कर पाते

बड़े सामान्यीकृत मॉडल व्यापक डेटा में पैटर्न पहचानने में अच्छे होते हैं। वे उन उम्मीदवारों की पहचान कर सकते हैं जो उन समूहों से मिलते-जुलते हैं जिन्होंने ऐतिहासिक रूप से अन्य जगहों पर अच्छा प्रदर्शन किया है।

जो वे स्वतः नहीं कर सकते वह है आपके संगठन को विशेष रूप से समझना। वे यह नहीं जानते कि आपके सर्वोत्तम प्रदर्शन करने वालों में क्या विशेषताएँ साझा हैं, सिवाय उन बातों के जो सामान्यीकृत प्रशिक्षण डेटा में दिखाई देती हैं।

यह सीमा मायने रखती है। तेज़ी से बढ़ती सॉफ्टवेयर कंपनी में एक वरिष्ठ इंजीनियर की सफलता की भविष्यवाणी करने वाले संकेत वही नहीं होते जो एक विनियमित वित्तीय संस्थान में वरिष्ठ इंजीनियर की सफलता की भविष्यवाणी करते हैं।

आपके परिवेश, आपकी वर्कफ़्लो और आपके वास्तविक शीर्ष-प्रदर्शन पैटर्न पर प्रशिक्षित संदर्भ-विशेष मॉडल ऐसे निर्णय ले सकते हैं जो उन परिणामों के अनुरूप कैलिब्रेटेड हों जिनमें आपको रुचि है, बजाय इसके कि वे सबके डेटा से व्यापक अनुमान लगाएँ।

एक साथ रखे गए मानचित्र जो एक खाली क्षेत्र की तुलना एक मार्ग-समृद्ध शहर के मानचित्र से दिखाते हैं, यह सामान्य बनाम संदर्भ-विशिष्ट मार्गदर्शन को दर्शाने के लिए।
संदर्भ मायने रखता है। एक सामान्य मॉडल एक मोटा नक्शा देता है; एक कैलिब्रेटेड मॉडल आपके वास्तविक संचालन परिवेश के माध्यम से एक मार्ग देता है।

व्यवहार में यह कैसा दिखता है

व्यावहारिक अंतर साक्षात्कार चरण में दिखाई देता है। प्रॉक्सी मूल्यांकन उन उम्मीदवारों को आगे भेजता है जिनकी पृष्ठभूमियाँ पिछले हायर किए गए कर्मचारियों से सबसे अधिक मिलती-जुलती होती हैं।

क्षमता का मूल्यांकन उन उम्मीदवारों को आगे भेजता है जिन्होंने प्रासंगिक कौशल और व्यवहार प्रदर्शित किए हैं, भले ही उन्हें विकसित करने का उनका मार्ग कागज़ पर असामान्य लगे।

यह केवल रैंकिंग ही नहीं बदलता। यह स्वयं उम्मीदवारों के पूल को बदल देता है, क्योंकि वे उम्मीदवार जो प्रॉक्सी तर्क से फ़िल्टर हो जाते, अब दिखाई देने लगते हैं।

इस श्रृंखला का अंतिम लेख खरीदार पक्ष को कवर करता है: जब कोई विक्रेता दावा करता है कि उनका सिस्टम बेहतर भर्ती निर्णय ले रहा है, तब HR नेताओं को क्या मांग करनी चाहिए।

निष्कर्ष

  • अच्छा AI केवल रिज़्यूमे प्रॉक्सी पर निर्भर रहने के बजाय क्षमता, संदर्भ और प्रवृत्ति का मूल्यांकन करता है।
  • व्यावहारिक परिणाम केवल परिचित उम्मीदवारों की अलग रैंकिंग नहीं है, बल्कि एक अलग और अक्सर मजबूत उम्मीदवार पूल तक पहुँच है।

संदर्भ

  1. 1. Harvard Business School and Accenture. Hidden Workers: Untapped Talent. https://www.hbs.edu/managing-the-future-of-work/Documents/research/hiddenworkers09032021.pdf
  2. 2. Harvard Business School Working Knowledge. How to Tap the Talent Automated HR Platforms Miss. https://www.library.hbs.edu/working-knowledge/how-to-tap-the-talent-automated-hr-platforms-miss

सामग्री स्तंभ

इस श्रृंखला में अगला

What HR Leaders Should Actually Demand

HR नेताओं को डेमो नाटकीयता की बजाय संकेतों की स्पष्टता, संगठनात्मक विशिष्टता, व्याख्यात्मकता (explainability), मौजूदा सिस्टम के साथ एकीकरण, और प्रदर्शन परिणामों से जुड़ा प्रमाण मांगना चाहिए।

What AI Can and Can't Doभाग 2 / 3

श्रृंखला रोडमैप

  1. 1Most AI Hiring Tools Aren't Doing What You Think
  2. 2
    What Good AI Actually Evaluatesआप यहाँ हैं
  3. 3What HR Leaders Should Actually Demand

इकोसिस्टम कर्व से आगे रहें

सप्ताह में एक ईमेल। मूल शोध, ऑपरेटर प्लेबुक, और महत्वपूर्ण इकोसिस्टम संकेत — बिना फालतू बातों के, बिना स्पैम के।