Cloudflare चा Clef निर्णय मॉडेल मानवी हस्तक्षेपाशिवाय वेगवान AI एजंट्सचे आश्वासन देतो

Cloudflare चा Clef एजंट निर्णय स्तरावर लक्ष्य केंद्रित करतो

Cloudflare ने Clef आणि Clef-flash सोडले आहेत, ही AI एजंट्ससाठी तयार केलेली निर्णय मॉडेल्सची जोडी आहे आणि ती थेट TypeSafe AI च्या Jev वर लक्ष्य केंद्रित करते. कंपनीचा मुख्य दावा वेगावर आहे. दीर्घ नैसर्गिक-भाषेतील प्रतिसाद तयार करण्याऐवजी, Clef संभाव्यता जोडलेले एक लहान वर्गीकरण परत करते. त्या संभाव्यता डाउनस्ट्रीम कोडला काहीतरी ठोस कृती करण्यासाठी देतात, मग ते सपोर्ट तिकीट रूट करणे, एस्कलेशन ट्रिगर करणे, किंवा प्रकरण मानवी ऑपरेटरकडे सोपवणे असो.

Cloudflare ची मांडणी स्पष्ट आहे: या प्रकारच्या मॉडेलसह, "एजंटिक निर्णयांसाठी आता मानवी हस्तक्षेप आवश्यक नाही." त्याच्या वर्णनात, एजंट्स प्रोग्रामॅटिकली संदर्भ गोळा करू शकतात, निर्णय घेऊ शकतात आणि कार्यांवर कृती करू शकतात, तर परिस्थितीची मागणी असेल तेव्हा व्यक्तीकडे सोपवण्याचा पर्यायही ठेवतात. हा स्वायत्ततेबद्दलचा महत्त्वपूर्ण दावा आहे, आणि तो Cloudflare ला एका मॉडेलच्या स्पर्धेत उभा करतो ज्याने या श्रेणीत आधीच आघाडीचे स्थान मिळवले आहे.

निर्णय मॉडेल प्रत्यक्षात काय करते

"निर्णय मॉडेल" हा शब्द सामान्य-उद्देशीय भाषा मॉडेल्स आणि पारंपरिक वर्गीकरणकर्त्यांमध्ये बसणाऱ्या प्रणालीचे वर्णन करतो. ते निबंध लिहीत नाही किंवा संभाषण करत नाही. त्याऐवजी, ते इनपुटबद्दल पूर्वनिर्धारित प्रश्नांच्या संचाचे उत्तर देते आणि प्रत्येक संभाव्य उत्तरासाठी संभाव्यता परत करते.

Cloudflare मधील एक व्यावहारिक उदाहरण ग्राहक सपोर्ट संदेशाचा समावेश करते. असा संदेश दिल्यास, Clef तो किती तातडीचा आहे याचे मूल्यांकन करू शकते आणि कोणता संघ त्याला हाताळावा हे ओळखू शकते. डाउनस्ट्रीम प्रणाली ती उत्तरे वाचते आणि कृती करते: तिकीट योग्य रांगेत रूट करणे, ते एस्कलेट करणे, किंवा ते मानवाकडे सोपवणे. मॉडेलला स्वतः उत्तर तयार करण्याची कधीही गरज नसते.

हे नाव संगीतातून आले आहे, जिथे क्लेफ स्टाफच्या रेषांना पिच नियुक्त करते. Cloudflare हे सादृश्य वापरून सुचवते की निर्णय मॉडेल पुढील कृतींसाठी चौकट ठरवते. Jev शी असलेली ध्वन्यात्मक समानता, बहुधा, योगायोग नाही.

वेग हा मुख्य आकडा आहे

Cloudflare आपला भेदक घटक म्हणून लेटन्सीवर जोरदार भर देत आहे. 43 बेंचमार्क्समध्ये, कंपनी म्हणते की Clef आणि लहान Clef-flash सर्व संबंधित स्पर्धात्मक निर्णय मॉडेल्सपेक्षा वेगवान आहेत. नोंदवलेले मध्यम प्रतिसाद वेळ अंदाजे Clef-flash साठी 39 मिलिसेकंद आणि Clef साठी सुमारे 209 मिलिसेकंद आहेत. तुलनेत, Cloudflare Jev ला 524 मिलिसेकंदांपेक्षा थोडे जास्त ठेवते.

• Clef-flash: सुमारे 39 मिलिसेकंद मध्यम लेटन्सी.
• Clef: सुमारे 209 मिलिसेकंद मध्यम लेटन्सी.
• Jev: Cloudflare च्या तुलनेनुसार, 524 मिलिसेकंदांपेक्षा थोडे जास्त.

ही स्वतः-नोंदवलेली आकडेवारी आहे, आणि Cloudflare ला ती अनुकूलपणे सादर करण्यात स्पष्ट स्वारस्य आहे. तरीही, ते वर्णन करत असलेली तफावत अशा प्रणालींमध्ये महत्त्वाची ठरण्याइतकी मोठी आहे जिथे अनेक लहान निर्णय क्रमाने घडतात. प्रतिसाद वेळेतील दहापट फरक एजंट प्रतिसादक्षम वाटतो की सुस्त हे ठरवू शकतो, आणि वापरकर्त्याला विलंब जाणवण्यापूर्वी पाइपलाइन किती पायऱ्या घेऊ शकते हे तो घडवू शकतो.

Cloudflare हे देखील नोंदवते की दोन्ही मॉडेल्स थेट त्याच्या स्वतःच्या पायाभूत सुविधांवर चालतात. कंपनी म्हणते की यामुळे त्यांना एज डेटा सेंटर्सच्या जवळपासचा फायदा मिळतो, ज्यामुळे निर्णय परत येण्यापूर्वी डेटा प्रवास करत असलेले अंतर कमी होऊ शकते.

Qwen वर तयार, Jev शी सुसंगत

Cloudflare नुसार Clef आणि Clef-flash दोन्ही Qwen वर तयार आहेत, आणि दोन्ही मजकूर व प्रतिमा समर्थित करतात. ती मल्टिमोडल क्षमता अशा एजंट वर्कफ्लोसाठी महत्त्वाची आहे ज्यांना स्क्रीनशॉट्स, स्कॅन केलेली कागदपत्रे, किंवा मजकुरासोबतच इतर दृश्य इनपुट्सचा अर्थ लावावा लागतो.

स्वीकारार्हतेसाठी तितकेच महत्त्वाचे म्हणजे, Cloudflare ने API Jev शी पूर्णपणे सुसंगत ठेवले आहे. TypeSafe AI चे मॉडेल आधीच वापरत असलेले ग्राहक त्यांचे इंटिग्रेशन्स पुन्हा न लिहिता स्विच करू शकतात. ती सुसंगतता ही एक उत्कृष्ट स्पर्धात्मक चाल आहे: ती पर्याय वापरून पाहण्याची किंमत कमी करते आणि वेगाची तुलना निर्णयातील मुख्य चल बनवते.

भाषा मॉडेल्स आणि वर्गीकरणकर्त्यांमधील अंतर भरणे

Cloudflare Clef ला अशा एका क्षेत्रात ठेवते जे भरणे अवघड होते. मोठी भाषा मॉडेल्स समस्येबद्दल विचार करू शकतात आणि साधने कॉल करू शकतात, परंतु त्यांचे आउटपुट प्रत्येक वेळी बदलतात, आणि ते हळू असू शकतात. पारंपरिक वर्गीकरणकर्ते वेगवान असतात, परंतु नवीन श्रेणी सादर केल्यावर त्यांना सामान्यतः पुनर्प्रशिक्षणाची गरज असते. निर्णय मॉडेल वर्गीकरणकर्त्याचा वेग आणि अंदाजक्षमता घेण्याचे लक्ष्य ठेवते, तर एजंटिक प्रणालींना आवश्यक असलेली लवचिकता टिकवून ठेवते.

हे तंत्रज्ञान कुठे बसते याचा विचार करताना हा फरक उपयुक्त आहे:

• भाषा मॉडेल्स सामान्य-उद्देशीय विचारकर्ते आहेत ज्यांचे आउटपुट लवचिक पण परिवर्तनशील आणि तुलनेने हळू असतात.
• पारंपरिक वर्गीकरणकर्ते वेगवान आणि सुसंगत पण कठोर असतात, प्रत्येक नवीन श्रेणीसाठी पुनर्प्रशिक्षणाची गरज असते.
• निर्णय मॉडेल्स पूर्वनिर्धारित पर्यायांवर संभाव्यता परत करतात, एजंट पाइपलाइन्ससाठी वेग, रचना, आणि पुरेशी लवचिकता यांचे लक्ष्य ठेवतात.

एजंट्स तयार करणाऱ्या संघांसाठी, आकर्षण सरळ आहे. एखाद्या एजंटला वारंवार एस्कलेट, रूट, टॅग, किंवा थांबवायचे की नाही हे ठरवावे लागत असल्यास प्रत्येक वेळी पूर्ण जनरेटिव्ह प्रतिसादाची गरज नसते. त्याला एक वेगवान संकेत हवा असतो ज्यावर तो कृती करण्याइतका विश्वास ठेवू शकेल.

लूपमधील माणसे, किंवा बाकावर

Cloudflare च्या संदेशातील सर्वात उत्तेजक भाग म्हणजे प्रत्येक एजंटिक निर्णयासाठी मानवी देखरेख आता अनिवार्य पायरी नाही हे सुचवणे. Cloudflare अशा रचनेचे वर्णन करते ज्यात एजंट्स संदर्भ गोळा करतात, निर्णय घेतात, आणि प्रोग्रामॅटिकली कृती करतात, तर गरज असेल तेव्हा मानवाकडे सोपवण्याचा पर्यायही ठेवतात.

ती "गरज असेल तेव्हा" ही वाक्यरचना खूप काम करत आहे. संभाव्यता परत करणारे निर्णय मॉडेल स्वयंचलित कृतीला आधार देऊ शकते, परंतु व्यक्तीशिवाय कृती करण्याची उंबरठा ही प्रणाली तयार करणाऱ्याची रचना-निवड आहे. उच्च-आत्मविश्वासाचा रूटिंग निर्णय स्वयंचलित करणे सुरक्षित असू शकते; नाराज ग्राहक, सुरक्षा समस्या, किंवा आर्थिक वचनबद्धता यांचा समावेश असलेल्या एस्कलेशनला मॉडेल आत्मविश्वासू असले तरी पुनरावलोकनाची गरज असू शकते. हे तंत्रज्ञान वेगवान स्वयंचलन शक्य करते, परंतु ती रेषा कुठे आखावी हे ते स्वतः ठरवत नाही.

संभाव्यता आउटपुट हमी सारखे नसतात. वर्गीकरण चुकीचे असू शकते, आणि वेगवान चुकीचे उत्तर हळू उत्तरापेक्षा वेगाने पाइपलाइनमधून पसरू शकते. म्हणून निर्णय मॉडेलचे मूल्य केवळ लेटन्सीवर अवलंबून नाही तर कॅलिब्रेशनवर आणि आसपासची प्रणाली अनिश्चितता किती सुंदरपणे हाताळते यावर अवलंबून आहे.

Clef रोलआउट होताना काय पाहावे

Cloudflare चे दावे विशिष्ट आणि मोजण्यायोग्य आहेत, ज्यामुळे ते चाचणीयोग्य बनतात. स्वतंत्र बेंचमार्क्स महत्त्वाचे ठरतील, विशेषतः Cloudflare उद्धृत करत असलेल्या 43 बेंचमार्क्सवर आणि विक्रेता चाचणी संचांपेक्षा वेगळ्या वास्तविक-जगातील वर्कलोड्सवर. Jev तुलनेचीही छाननी होईल, कारण TypeSafe AI चे मॉडेल हे विद्यमान आहे ज्याला Clef स्पष्टपणे आकर्षित करत आहे.

Clef एजंट बिल्डर्ससाठी डीफॉल्ट निवड बनेल की नाही हे अनेक प्रश्न घडवतील:

• स्वतंत्र चाचण्या लेटन्सीचा फायदा पुनरुत्पादित करतात का, विशेषतः उत्पादन लोडखाली?
• मॉडेल्स एज केसेस, संदिग्ध इनपुट्स, आणि अपेक्षित नसलेल्या श्रेणी किती चांगल्या प्रकारे हाताळतात?
• एज जवळपास असणे जागतिक स्तरावर वितरित अनुप्रयोगांसाठी अर्थपूर्ण लाभांमध्ये रूपांतरित होते का?
• सुसंगत API दिल्यास, संघ विद्यमान Jev इंटिग्रेशन्स किती सहजपणे हलवू शकतात?

Cloudflare ने Clef ला असा क्षण म्हणून मांडले आहे जेव्हा एजंट्सना प्रत्येक निर्णयासाठी लूपमध्ये मानवाची गरज संपते. अधिक अचूक वाचन असे असू शकते की ते ती निवड वापरणे स्वस्त आणि वेगवान करते. स्वायत्तता वाढेल की नाही हे मॉडेलवर कमी आणि संघ त्याभोवती तयार करत असलेल्या गार्डरेल्सवर अधिक अवलंबून असेल.

हा लेख The Decoder च्या रिपोर्टिंगवर आधारित आहे. मूळ लेख वाचा.