नवीन कार्यप्रदर्शन पुनरावलोकन मेट्रिक ज्याची कोणी गरज नव्हती

कॉर्पोरेट कार्यप्रदर्शन व्यवस्थापनाच्या कोठीत, एखाद्याला एक विचार आला: जर आपण AI टोकनसाठी पैसे देत आहोत, तर आपण मोजू शकलो की कोण सर्वाधिक वापरत आहेत. अशा प्रकारे एक नवीन कार्यस्थळ मेट्रिक जन्मले — AI टोकन वापर उत्पादकता आणि संलग्नतेचे प्रॉक्सी म्हणून.

अहवाल बाहेर येत आहेत की काही तंत्रज्ञान कंपन्या, त्यांच्या AI प्लॅटफॉर्म गुंतवणुकीचे न्याय करायची आणि सुरुवातीच स्वीकार करणाऱ्यांची ओळख करायची असताना, कर्मचारी किती वेगाने large language model टोकन जाळतात हे निरीक्षण करत आहेत. जितक्या जास्त टोकन वापरल्या जातील, कर्मचारी उतका अधिक AI शी संबंधित असावा — किंवा असा तर्क आहे. हे व्यवस्थापकीय तर्क पृष्ठभागीपणे वाजवी वाटते जोपर्यंत तुम्ही त्याचा तीस सेकंदांसाठी परीक्षा घेत नाही.

टोकन संख्या हे वाईट उत्पादकता मेट्रिक का आहे

टोकन वापर AI वापर मापता, कार्य उत्पादन नाही. एक विकसकर्ता जो Claude किंवा Copilot वापरून कोडिंग समस्येसाठी पाच वैकल्पिक दृष्टिकोन तयार करतो, नंतर सर्वोत्तम निवडतो, हे स्वतंत्रपणे प्रथम प्रयत्नात स्वच्छ कोड लिहणारे विकसकर्ता पेक्षा बरेच जास्त टोकन वापरते. टोकन-वापर मेट्रिक अंतर्गत, पहिला विकसकर्ता उच्च स्कोर करतो — जरी दुसरा अधिक चांगले काम तयार करत असेल.

मेट्रिक इतर प्रकारे प्रोत्साहन संरचना उलट करते. कर्मचारी जो AI च्या मर्यादा समजतात आणि विवेकाने त्याचा वापर करतात ते स्वाभाविकपणे कमी टोकन वापरतील जे बारंबार प्रॉम्प्ट करतात आणि चांगल्या परिणामांची आशा करतात. मेट्रिक वियोग पेक्षा व्हॉल्यूमला पुरस्कृत करते.

स्पष्ट गेमिंग समस्या देखील आहे. एकदा कर्मचारी जाणतात की त्यांचे टोकन वापरावर मूल्यमापन केले जात आहे, ते प्रॉम्प्ट तयार करतील. ढेर सारे प्रॉम्प्ट. आवश्यकता आल्यास अर्थहीन प्रॉम्प्ट. कॉर्पोरेट इतिहास अशा मेट्रिक्सच्या उदाहरणांनी भरलेला आहे जे खेळण्यास सोपे होते आणि त्वरीत प्राथमिक आउटपुट बन गेले ज्या त्यांना मोजायचे होते.

सखोल समस्या: AI ग्रहण चुकीचे मोजणे

या मेट्रिक्सच्या मागील प्रेरणा पूर्ण गैरसमज नाही. संस्थांनी जिन्होंने AI प्लॅटफॉर्मसाठी भारी गुंतवणूक केली आहे, त्यांना हे जाणून घेऊ इच्छित आहे की त्या गुंतवणूकी परतावा दिल्या जात आहेत. उपलब्ध साधने वापरत नसलेल्या कर्मचाऱ्यांची ओळख करणे — आणि का हे समजून घेणे — वैध व्यवस्थापन चिंता आहे.

पण टोकन वापर सर्वोत्तमीकरणे एक अग्रणी सूचक आहे, आणि सर्वनिम्न उपाय भ्रामक आहे. काय खरोखर महत्वाचे आहे की AI काम उत्पादन बदलत आहे की नाही: कार्यांमधील वेळ-ते-पूर्णता कमी करणे, गुणवत्ता सुधारणे, पूर्वी व्यवहार्य नसलेले काम सक्षम करणे, किंवा उच्च-मूल्य क्रियाकलापांसाठी संज्ञानात्मक क्षमता मुक्त करणे. यापैकी काहीही API कॉल मोजून कैप्चर केले जात नाही.

या दृष्टिकोन वापरत असलेल्या कंपन्या सारांशात इनपुट मोजत आहेत कारण आउटपुट परिभाषित आणि मोजणे कठीण आहे. हे संक्रमण कालावधीत समजण्यायोग्य आहे, परंतु प्रॉक्सी मेट्रिकला वास्तविक गोष्ट म्हणून मानणे तंत्रज्ञानातील दीर्घ इतिहास असलेली व्यवस्थापन अपयश आहे.

हे AI एकीकरणाबद्दल काय प्रकट करते

टोकन-वापर मेट्रिक्सचा उदय तंत्रज्ञान संस्थांमध्ये व्यापक चिंता दर्शवितो: व्यवस्थापन रचना जोडून जास्त वेगाने काम बदलत आहे हे भावना. नेता जो समजतात AI महत्वाचा आहे पण अजूनही त्याच्या संस्थात्मक प्रभाव मोजण्यासाठी स्पष्ट रचना तयार केली नाहीत, ते उपलब्ध असलेल्या कोणत्याही संख्येसाठी पोहोचत आहेत.

हा टप्पा अपेक्षित होता आणि संभवतः अस्थायी आहे. क्लाउड ग्रहण मेट्रिक्स, agile वेग बिंदू, आणि अगणित इतर तंत्रज्ञान संक्रमणे समान पैटर्न फिरवली आहेत. संस्थांना अखिरीस हाइप चक्र नंतर अधिक परिष्कृत मोजमाप तरीके विकसित होतात जे कठोर विचार करण्यास सक्षम करतात.

AI युगाचे व्यवस्थापन आव्हान

कठोर सत्य असे आहे की AI मूलभूतपणे कार्य उत्पादन एट्रिब्यूशन गुंतागुंत करते. जेव्हा विकसकर्ता कोड तयार करतो, त्यांना किती क्रेडिट विरुद्ध AI ला जे मसुदा तयार केला? जेव्हा डिजाइनर संकल्पना वितरित करतो, तुम्ही AI-निर्मित पर्यायांवर लागू केलेल्या मानवी सृजनशील निर्णयाचे मूल्य कसे करता? जेव्हा लेखक एक लेख शिप करतो, संशोधन सहायता कुठे संपते आणि सृजनशील योगदान कुठे सुरू होते?

या प्रश्नांची स्वच्छ उत्तरे नाहीत, म्हणून संस्था टोकन वापरासारख्या सोप्या प्रॉक्सीसाठी पोहोचत आहेत. परंतु ज्या कंपन्या AI-संवर्धित कार्य अचूकपणे मोजण्याचे मार्ग तयार करत आहेत — फक्त AI वापर मापण्याऐवजी — प्रतिभा वाटप, प्रोत्साहन संरचना, आणि AI प्रभावीपणे वापरणाऱ्या टीम तयार करण्यात लक्षणीय लाभ असेल.

तोपर्यंत, अधिक संदेधास्पद मेट्रिक्स, अधिक कामगार गोंधळ, आणि अधिक लेख अपेक्षा करा जे समजावून देतात की टोकन मोजणे चांगल्या कामाची गणना करण्यास समान नाही.

हा लेख Gizmodo च्या प्रतिवेदनावर आधारित आहे। मूळ लेख वाचा.