Amazon ने आंतरिक AI उपयोग लीडरबोर्ड हटाया, क्योंकि कर्मचारियों ने इसे गेम कर लिया

Amazon का आंतरिक AI मीट्रिक गलत व्यवहार को बढ़ावा दे रहा था

कथित तौर पर Amazon ने एक आंतरिक AI रैंकिंग सिस्टम हटा दिया है, क्योंकि कर्मचारियों ने समझ लिया था कि वे AI टूल्स को निरर्थक कामों पर लगाकर लीडरबोर्ड में ऊपर चढ़ सकते हैं। यह घटना एक उपयोगी उदाहरण है कि कैसे तेजी से लागू किए गए AI अपनाने के मीट्रिक्स बड़े संगठनों के भीतर प्रोत्साहनों को विकृत कर सकते हैं।

प्रदान किए गए स्रोत पाठ के अनुसार, कंपनी ने “Kirorank” नामक एक डैशबोर्ड का उपयोग कर्मचारियों की Amazon के Kiro डेवलपर प्लेटफॉर्म पर गतिविधि के आधार पर अंक देने के लिए किया था। इस मीट्रिक का उद्देश्य उपयोग को बढ़ावा देना था, लेकिन कुछ कर्मचारियों ने AI का इस्तेमाल सार्थक आउटपुट के लिए नहीं, बल्कि केवल स्कोर के लिए करना शुरू कर दिया। नतीजा था अधिक गतिविधि संख्या, अतिरिक्त क्लाउड लागत, और उससे मेल खाता कोई ठोस मूल्य नहीं।

जब उपयोग ही लक्ष्य बन जाता है

मूल विफलता संगठनात्मक डिज़ाइन में परिचित है: जैसे ही कोई मीट्रिक लक्ष्य बन जाता है, लोग अंतर्निहित उद्देश्य के बजाय उसी मीट्रिक को अनुकूलित करने लगते हैं। इस मामले में, स्पष्ट उद्देश्य डेवलपर्स द्वारा उपयोगी AI अपनाना था। चुना गया प्रतिनिधि संकेतक एक आंतरिक प्लेटफॉर्म पर गतिविधि था।

यह अंतर महंगा साबित हुआ। यदि कर्मचारी केवल अधिक AI-चालित काम चलाकर अपनी स्थिति सुधार सकते हैं, तो टोकन खपत और प्लेटफॉर्म ट्रैफ़िक बढ़ सकते हैं, भले ही कोड की गुणवत्ता, शिपिंग गति या ग्राहक प्रभाव में कोई सुधार न हो। स्रोत पाठ कहता है कि कुछ कर्मचारियों ने रैंकिंग में ऊपर जाने के लिए AI एजेंटों को निरर्थक कामों पर लगा दिया।

सीनियर वाइस प्रेसिडेंट Dave Treadwell ने कथित तौर पर कर्मचारियों से कहा, “कृपया AI का उपयोग सिर्फ AI के उपयोग के लिए न करें।” यह कथन समस्या को बिल्कुल सटीक रूप में पकड़ता है। जब नेतृत्व को इसे स्पष्ट रूप से कहना पड़े, तो समझिए कि मापन ढांचा उस व्यावसायिक परिणाम से पहले ही भटक चुका है जिसे वह सहारा देने के लिए बनाया गया था।

डैशबोर्ड के पीछे का दबाव

समय भी महत्वपूर्ण है। स्रोत पाठ के अनुसार, Amazon ने लक्ष्य रखा है कि उसके 80% से अधिक डेवलपर्स साप्ताहिक आधार पर AI का उपयोग करें। कंपनी 2026 में लगभग $200 बिलियन खर्च करने की भी योजना बना रही है, जिसका बड़ा हिस्सा AI अवसंरचना पर जाएगा। ये आंकड़े बताते हैं कि आंतरिक अपनाने वाले मीट्रिक्स को इतना ध्यान क्यों मिला।

AI में इतनी आक्रामक निवेश करने वाली बड़ी कंपनियाँ यह सबूत चाहती हैं कि टूल्स का उपयोग हो रहा है, और वे यह सबूत जल्दी चाहती हैं। डैशबोर्ड एक स्वाभाविक प्रबंधकीय प्रतिक्रिया है, क्योंकि वे व्यापक परिवर्तन कार्यक्रम को एक दिखने योग्य संख्या में बदल देते हैं। लेकिन दृश्यता, उपयोगिता के बराबर नहीं होती। खासकर सॉफ्टवेयर संगठनों में, वास्तविक अपनाने को कच्चे उपयोग आँकड़ों से पकड़ना कठिन होता है।

स्रोत पाठ नोट करता है कि Meta में भी इसी तरह का पैटर्न देखा गया, जहाँ कर्मचारियों ने AI उपयोग स्कोर का पीछा किया। इससे संकेत मिलता है कि समस्या केवल Amazon तक सीमित नहीं है। यह उन कंपनियों में संरचनात्मक हो सकती है जो परिपक्व तरीकों के बिना AI अपनाने को तेज़ करना चाहती हैं, ताकि वास्तविक लाभ को मापा जा सके।

टोकन गिनती से उपयोगी परिनियोजन तक

Amazon का प्रतिस्थापन मीट्रिक संकेतपूर्ण है। कच्ची टोकन खपत को ट्रैक करने के बजाय, कंपनी अब कथित तौर पर “normalized deployments” को मापती है, यानी ऐसा AI-जनित कोड जो वास्तव में उपयोगी साबित हो। यह बदलाव इनपुट मीट्रिक्स से आउटपुट मीट्रिक्स की ओर रुख को दर्शाता है।

यह बदलाव समझदारी भरा है, लेकिन सरल नहीं है। यह मापना कि AI-जनित कोड वास्तव में उपयोगी है या नहीं, केवल यह दर्ज करने से कहीं अधिक मजबूत सफलता-परिभाषा मांगता है कि किसी मॉडल को बुलाया गया था। यह उत्पादन परिणामों, वास्तविक वर्कफ़्लो में एकीकरण, या किसी ऐसी पुष्टि के अधिक निकट संबंध का संकेत देता है कि उत्पन्न काम ने केवल शोर नहीं, बल्कि परिनियोजन में योगदान दिया।

फिर भी, किसी भी प्रतिस्थापन मीट्रिक को सावधानीपूर्वक डिज़ाइन की आवश्यकता होगी। यदि कर्मचारियों को केवल परिनियोजन संख्या के लिए पुरस्कृत किया जाए, तो वे छोटे या कम-जोखिम वाले परिनियोजनों को अनुकूलित कर सकते हैं। यदि उन्हें कोड की मात्रा के लिए पुरस्कृत किया जाए, तो वे समीक्षा किए बिना अधिक कोड उत्पन्न कर सकते हैं। सीख यह नहीं है कि मीट्रिक्स असंभव हैं। सीख यह है कि AI अपनाने के मीट्रिक्स को उस वास्तविक इंजीनियरिंग मूल्य से कहीं अधिक सटीक रूप से जोड़ना होगा, जितना कई संगठन शुरू में मान लेते हैं।

एंटरप्राइज़ AI के लिए इसका महत्व

Amazon का अनुभव दिखाता है कि आंतरिक AI रोलआउट एक कठिन चरण में प्रवेश कर रहे हैं। शुरुआती चुनौती टूल्स को कर्मचारियों के हाथों तक पहुँचाना थी। अगली चुनौती यह साबित करना है कि वे टूल्स वास्तविक काम को सुधारते हैं, न कि केवल जुड़ाव चार्ट को बढ़ाते हैं। जैसे-जैसे AI खर्च बढ़ेगा, प्रतीकात्मक अपनाने के लिए कार्यकारी सहनशीलता घटने की संभावना है।

यह विकास परिवेशों में विशेष रूप से महत्वपूर्ण है, जहाँ बर्बाद कंप्यूट सीधे लागत में बदलता है और कम-गुणवत्ता वाला उत्पन्न आउटपुट बाद में छिपे हुए रखरखाव बोझ पैदा कर सकता है। एक लीडरबोर्ड प्रयोग को प्रेरित कर सकता है, लेकिन यदि स्कोरिंग प्रणाली साधारण है, तो यह दिखावटी व्यवहार को भी प्रोत्साहित कर सकता है।

बड़ा निष्कर्ष सीधा है: उद्यम AI उपयोग को अपने आप में अंतिम स्थिति नहीं मान सकते। उन्हें गतिविधि और प्रभावशीलता के बीच अंतर करना होगा। Amazon का लीडरबोर्ड हटाने का निर्णय बताता है कि कंपनी ने यह सबक महँगे तरीके से सीखा। अन्य संगठनों के लिए जो कर्मचारियों को AI टूल्स की ओर धकेल रहे हैं, यह चेतावनी है कि अपनाने वाले अभियान गलत व्यवहार को बड़े पैमाने पर ले जाने से पहले बेहतर प्रोत्साहनों की ज़रूरत रखते हैं।

यह लेख The Decoder की रिपोर्टिंग पर आधारित है। मूल लेख पढ़ें.