कर्मचाऱ्यांनी त्याचा गैरवापर केल्यानंतर Amazon ने AI वापर लीडरबोर्ड काढून टाकला

Amazon चे अंतर्गत AI मेट्रिक चुकीचे वर्तन निर्माण करत होते

कर्मचाऱ्यांनी अर्थहीन कामांवर AI टूल्स वापरून लीडरबोर्डमध्ये वर कसे जायचे हे शिकून घेतल्यानंतर, Amazon ने एक अंतर्गत AI रँकिंग सिस्टम मागे घेतल्याचे वृत्त आहे. मोठ्या कंपन्यांमध्ये वेगाने राबवलेल्या AI स्वीकार मेट्रिक्समुळे प्रोत्साहने कशी विकृत होऊ शकतात, याचे हे प्रकरण एक उपयुक्त अभ्यास उदाहरण आहे.

दिलेल्या स्रोत मजकुरानुसार, कंपनीने “Kirorank” नावाचा डॅशबोर्ड वापरून Amazon च्या Kiro डेव्हलपर प्लॅटफॉर्मवरील कर्मचाऱ्यांच्या क्रियाकलापांवर आधारित गुण दिले. हा मेट्रिक वापर वाढवण्यासाठी तयार करण्यात आला होता, पण काही कर्मचाऱ्यांनी अर्थपूर्ण परिणामांपेक्षा केवळ गुणांसाठी AI वापरण्यास सुरुवात केली. परिणामी क्रियाकलापांचे आकडे वाढले, अतिरिक्त क्लाउड खर्च झाला, आणि त्यास अनुरूप मूल्य असल्याचे फारसे पुरावे दिसले नाहीत.

वापरच लक्ष्य बनतो तेव्हा

मूलभूत अपयश संघटनात्मक रचनेत परिचित आहे: एकदा मेट्रिकच लक्ष्य बनला की लोक मूळ उद्दिष्टाऐवजी त्याच मेट्रिकसाठी ऑप्टिमाइझ करतात. या प्रकरणात, उद्दिष्ट होते डेव्हलपर्सकडून उपयुक्त AI स्वीकार. निवडलेला प्रॉक्सी म्हणजे अंतर्गत प्लॅटफॉर्मवरील क्रियाकलाप.

हा फरक महाग ठरला. कर्मचारी फक्त अधिक AI-चालित कामे चालवून आपले स्थान सुधारू शकत असतील, तर कोड गुणवत्ता, शिपिंग गती किंवा ग्राहकांवर परिणाम न वाढताही टोकन वापर आणि प्लॅटफॉर्म ट्रॅफिक वाढू शकतो. स्रोत मजकूर सांगतो की काही कर्मचाऱ्यांनी रँकिंगमध्ये वर जाण्यासाठी AI एजंटना निरर्थक कामांवर लावले.

Senior Vice President Dave Treadwell यांनी कर्मचाऱ्यांना, “Please don’t use AI just for the sake of using AI.” असे सांगितल्याचे वृत्त आहे. हे विधान समस्येचा गाभा अचूकपणे पकडते. नेतृत्वाला जेव्हा हे स्पष्टपणे सांगावे लागते, तेव्हा मोजमापाचा आराखडा आधीच ज्या व्यवसायपरिणामाला तो आधार देणार होता, त्यापासून दूर गेलेला असतो.

डॅशबोर्डमागचा दबाव

वेळही महत्त्वाची आहे. स्रोत मजकुरानुसार, Amazon ने आपल्या 80% हून अधिक डेव्हलपर्सनी आठवड्याला AI वापरावा असे लक्ष्य ठेवले आहे. 2026 मध्ये सुमारे $200 billion खर्च करण्याचाही त्यांचा मानस आहे, ज्याचा बहुतेक भाग AI पायाभूत सुविधांवर जाईल. ही आकडेवारी अंतर्गत स्वीकार मेट्रिक्सकडे इतके लक्ष का गेले, हे स्पष्ट करते.

AI मध्ये इतक्या आक्रमकपणे गुंतवणूक करणाऱ्या मोठ्या कंपन्यांना साधने वापरली जात आहेत याचा पुरावा हवा असतो, आणि त्यांना तो पुरावा लवकर हवा असतो. डॅशबोर्ड हा एक स्वाभाविक व्यवस्थापकीय प्रतिसाद आहे, कारण तो विस्तृत परिवर्तन अजेंडाला एका दृश्य संख्येत रूपांतरित करतो. पण दृश्यता म्हणजे उपयोगिता नाही. विशेषतः सॉफ्टवेअर संस्थांमध्ये, प्रत्यक्ष स्वीकार कच्च्या वापराच्या आकडेवारीतून पकडणे कठीण असते.

स्रोत मजकुरात Meta मध्येही असा एक समान नमुना दिसल्याचे नमूद केले आहे, जिथे कर्मचाऱ्यांनी AI वापर गुणांचा पाठपुरावा केला. यावरून ही समस्या फक्त Amazon पर्यंत मर्यादित नाही असे सूचित होते. प्रत्यक्ष लाभ मोजण्याच्या परिपक्व पद्धती येण्यापूर्वी AI स्वीकार वेगाने वाढवू पाहणाऱ्या कंपन्यांमध्ये ही रचना-संबंधित समस्या असू शकते.

टोकन मोजणीपासून उपयुक्त तैनातीकडे

Amazon चे पर्यायी मेट्रिक उल्लेखनीय आहे. कच्च्या टोकन वापराचा मागोवा घेण्याऐवजी, कंपनी आता “normalized deployments” मोजते, म्हणजे प्रत्यक्ष उपयुक्त ठरलेला AI-निर्मित कोड. हा बदल इनपुट मेट्रिक्सपासून आउटपुट मेट्रिक्सकडे वळण्याचे द्योतक आहे.

हा बदल योग्य आहे, पण साधा नाही. AI-निर्मित कोड खरोखरच उपयुक्त आहे का हे मोजण्यासाठी, फक्त एखादा मॉडेल वापरला गेला एवढे नोंदवण्यापेक्षा अधिक मजबूत यशाची व्याख्या हवी. याचा अर्थ उत्पादनपरिणामांशी जवळचा संबंध, प्रत्यक्ष वर्कफ्लोमध्ये समाकलन, किंवा तयार केलेल्या कामामुळे केवळ आवाज न वाढता तैनातीला हातभार लागला याची काही पडताळणी असा होतो.

तरीही, कोणत्याही पर्यायी मेट्रिकसाठी काळजीपूर्वक रचना आवश्यक आहे. जर कर्मचाऱ्यांना फक्त तैनातींच्या संख्येसाठी बक्षीस दिले गेले, तर ते लहान किंवा कमी-जोखमीच्या तैनातींवर भर देऊ शकतात. कोडच्या प्रमाणासाठी बक्षीस दिले गेले, तर ते नीट तपासणी न करता अधिक कोड तयार करू शकतात. धडा असा नाही की मेट्रिक्स अशक्य आहेत. धडा असा की AI स्वीकार मेट्रिक्सना प्रत्यक्ष इंजिनिअरिंग मूल्याशी अनेक संस्थांनी प्रथम गृहीत धरल्यापेक्षा खूपच घट्टपणे जोडलेले असले पाहिजे.

एंटरप्राइझ AI साठी हे का महत्त्वाचे आहे

Amazon चा अनुभव दाखवतो की अंतर्गत AI रोलआउट आता अधिक कठीण टप्प्यात प्रवेश करत आहेत. सुरुवातीचे आव्हान म्हणजे साधने कर्मचाऱ्यांच्या हातात पोहोचवणे. पुढचे आव्हान म्हणजे ती साधने केवळ एंगेजमेंट चार्ट फुगवत नाहीत, तर प्रत्यक्ष काम सुधारतात हे सिद्ध करणे. AI खर्च वाढत असताना, प्रतीकात्मक स्वीकाराबाबत व्यवस्थापनाची सहनशीलता कमी होण्याची शक्यता आहे.

हे विशेषतः विकास वातावरणात महत्त्वाचे आहे, जिथे वाया गेलेला compute थेट खर्चात रूपांतरित होतो आणि कमी-गुणवत्तेचे जनरेटेड आउटपुट पुढे लपलेले देखभाल-ओझे निर्माण करू शकते. लीडरबोर्ड प्रयोगाला चालना देऊ शकतो, पण स्कोअरिंग प्रणाली खडबडीत असेल तर तो सादरीकरणात्मक वर्तनालाही प्रोत्साहन देऊ शकतो.

मोठा निष्कर्ष सोपा आहे: उद्यमांनी AI वापरालाच अंतिम अवस्था मानू नये. त्यांना क्रियाकलाप आणि परिणामकारकता यामधील फरक ओळखावा लागेल. Amazon ने लीडरबोर्ड काढून टाकण्याचा घेतलेला निर्णय सूचित करतो की कंपनीने हा धडा महागड्या पद्धतीने शिकला. इतर संस्था जर कर्मचाऱ्यांना AI टूल्सकडे ढकलत असतील, तर स्केल वाढण्यापूर्वी चांगल्या प्रोत्साहनांची गरज आहे, अन्यथा चुकीचे वर्तनच वाढेल.

हा लेख The Decoder च्या रिपोर्टिंगवर आधारित आहे. मूळ लेख वाचा.