Anthropic म्हणते की Opus 5 ने ब्राउझर प्रॉम्प्ट इंजेक्शनचा धोका लक्षणीयरीत्या कमी केला

AI एजंट्ससाठी मोठी संरक्षणात्मक झेप झाल्याचा Anthropic चा दावा

AI एजंट्समधील सर्वात कायमस्वरूपी सुरक्षा समस्यांपैकी एक, म्हणजे ब्राउझर-आधारित प्रॉम्प्ट इंजेक्शन, याचा प्रतिकार करण्यात आपल्या Opus 5 मॉडेलने लक्षणीय झेप घेतल्याचे Anthropic म्हणते. कंपनीच्या system card मधून उद्धृत केलेल्या तपशीलांनुसार, Opus 5 ला कंपनीच्या Auto Mode संरक्षणांसह वापरल्यावर ब्राउझर एजंट्सवर केलेले प्रॉम्प्ट इंजेक्शन हल्ले 129 चाचणी परिस्थितींमध्ये कधीच यशस्वी झाले नाहीत.

हा निकाल व्यापक तपासणीतही तसाच टिकून राहिला, तर agentic AI साठी ती एक महत्त्वाची प्रगती ठरेल. वेब ब्राउझ करणाऱ्या, दस्तऐवज वाचणाऱ्या, किंवा वापरकर्त्याच्या वतीने कृती करणाऱ्या प्रणाली तैनात करण्यात प्रॉम्प्ट इंजेक्शन हा एक मुख्य अडथळा बनला आहे. मूलभूत समस्या दिसायला सोपी आहे: हल्लेखोर एखाद्या वेबपेजमध्ये किंवा इतर इनपुटमध्ये दुष्ट सूचना लपवतो, आणि मॉडेल त्या सूचनांचे पालन करते, ज्या उच्च-प्राधान्य नियमांचे पालन करायला हवे होते त्याऐवजी.

हा failure mode विश्वासार्ह AI एजंट्सच्या कल्पनेला बराच काळ त्रास देत आला आहे, कारण हा हल्ला पारंपरिक software boundaries तोडण्यावर अवलंबून नाही. तो language models मजकूर कसा समजतात याचा गैरफायदा घेतो. परिणामी, अतिरिक्त safeguards लावले नसतील तर अत्यंत सक्षम मॉडेल्सही शत्रुत्वपूर्ण किंवा दिशाभूल करणाऱ्या सामग्रीमुळे हाताळली जाऊ शकतात.

Anthropic नुसार काय बदलले

रिपोर्ट झालेला शून्य टक्के success rate केवळ Opus 5 मॉडेलमुळे आलेला नव्हता. Claude Cowork सारख्या Anthropic उत्पादनांमध्ये Auto Mode चालू असताना हा निकाल लागू झाला. त्या सेटअपमध्ये दोन स्वतंत्र संरक्षण स्तर सक्रिय होते. एक स्तर, मॉडेल सामग्री प्रक्रिया करण्याआधी येणारी सामग्री लपलेल्या किंवा दुष्ट सूचनांसाठी तपासतो. दुसरा धोकादायक कृती प्रत्यक्षात होण्याआधीच थांबवतो.

हा फरक महत्त्वाचा आहे. Anthropic च्या स्वतःच्या आकडेवारीनुसार, त्या अतिरिक्त संरक्षणांशिवाय Opus 5 ने ब्राउझर-एजंट सेटिंगमध्ये अजूनही 3.7 टक्के हल्ला यशदर दाखवला. त्यामुळे reported breakthrough हा मॉडेल स्तरावर प्रॉम्प्ट इंजेक्शन सुटले आहे याचा पुरावा नसून, system-level सुधारणा असल्यासारखा दिसतो.

हा system framing व्यापक उद्योगासाठी महत्त्वाचा आहे. AI एजंट्समधील सुरक्षा समस्या आता केवळ model problems म्हणून नाही, तर stack problems म्हणून पाहिल्या जात आहेत. मॉडेल सुधारू शकते, पण input filtering, policy enforcement, permissioning, आणि action gating यांचा हल्ला खरोखर यशस्वी होतो की नाही यावर परिणाम होतो.

Benchmark परिणाम प्रगती दाखवतात, पण अंतिमता नाही

स्रोतामध्ये सुरक्षा कंपनी Gray Swan च्या प्रॉम्प्ट इंजेक्शन benchmark चे परिणामही उद्धृत आहेत. एका सामान्य चाचणीत, 15 प्रयत्नांनंतर हल्लेखोर यशदर Opus 4.8 मध्ये 5.5 टक्क्यांवरून Opus 5 मध्ये 2.0 टक्क्यांवर घसरल्याचे सांगितले आहे. यामुळे तुलना केलेल्या इतर मॉडेल्समध्ये, Mythos 5 (2.6 टक्के) आणि Fable 5 (2.8 टक्के) यांच्यापेक्षा Opus 5 पुढे असल्याचे दिसते.

हे आकडे खऱ्या सुधारण्याकडे निर्देश करतात, पण प्रॉम्प्ट इंजेक्शन “सुटले” आहे या मथळ्याच्या दाव्याची मर्यादाही दाखवतात. Anthropic च्या स्वतःच्या सादरीकरणातही सर्वात स्वच्छ निकाल एका विशिष्ट product configuration वर अवलंबून आहे, ज्यामध्ये अनेक protections चालू आहेत. त्यांशिवाय attack success शून्यावर जात नाही. आणि स्रोतामध्ये उद्धृत केलेल्या किमान एका तुलनेत, unprotected browser-agent स्थितीत Sonnet 5 ने Opus 5 पेक्षा चांगली कामगिरी करत 3.7 टक्क्यांच्या तुलनेत 0.93 टक्के दर नोंदवला.

म्हणजेच, अधिक संरक्षणात्मक निष्कर्ष असा नाही की एका एकमेव मॉडेलने समस्या पूर्णपणे नष्ट केली आहे. त्याऐवजी असे म्हणता येईल की Anthropic ने ब्राउझर एजंट्ससाठी यापूर्वी उपलब्ध असलेल्या उपायांपेक्षा अधिक मजबूत practical defense package तयार केले असावे.

एजंट स्पर्धेत हे का महत्त्वाचे

प्रॉम्प्ट इंजेक्शन ही काही किरकोळ सुरक्षा चिंता नाही. हे agentic AI च्या सर्वात व्यावसायिकदृष्ट्या मौल्यवान वचनावर थेट परिणाम करते: अशा प्रणाली ज्या मर्यादित देखरेखीखाली ऑनलाइन साधने आणि माहिती स्त्रोतांमधून मार्गक्रमण करू शकतात. जर त्या प्रणाली hidden text, compromised instructions, किंवा adversarial formatting द्वारे वळवल्या जाऊ शकत असतील, तर खरेदी, प्रशासन, कोडिंग, संशोधन, किंवा ग्राहक संचालन अशा प्रत्यक्ष workflow मध्ये त्यांच्यावर विश्वास ठेवणे कठीण होते.

म्हणूनच attack success rates मधील अगदी किरकोळ घटही महत्त्वाची आहे. यशस्वी manipulation ची शक्यता कमी झाली, तर कंपन्या स्वयंचलित करण्यास तयार असलेल्या कामांची व्याप्ती वाढू शकते. विक्रेत्यांसाठीही हा एक स्पर्धात्मक फरक ठरू शकतो, विशेषतः model capabilities जवळजवळ समान होत असताना आणि खरेदीदार raw benchmark performance पेक्षा operational reliability वर अधिक भर देऊ लागल्यावर.

हा मुद्दा इतका गंभीर आहे की OpenAI ने डिसेंबरमध्ये मान्य केले होते की प्रॉम्प्ट इंजेक्शन कदाचित कधीच पूर्णपणे सुटणार नाही. हे मत व्यापक उद्योग-चिंतेचे प्रतिबिंब आहे: कारण language models नैसर्गिक भाषेतील input आत्मसात करून त्यावर कृती करण्यासाठी तयार केलेले असतात, त्यामुळे काही प्रकारच्या instruction conflict ला ते स्वभावतः उघडे राहू शकतात. Defensive engineering धोका कमी करू शकते, पण open-ended environments मध्ये पूर्ण प्रतिकाराची हमी देणे कठीण असू शकते.

पुढे काय पाहायचे

पुढचा प्रश्न म्हणजे Anthropic चे निष्कर्ष पुनरुत्पादित आणि सामान्यीकृत करता येतील का. Internal system-card data माहितीपूर्ण असू शकते, पण बाह्य सत्यापनच बहुतेकदा ठरवते की दावा केलेला सुरक्षा टप्पा उद्योगात विश्वासार्ह प्रथा बनेल की नाही. 129 browser-agent परिस्थिती कशा रचल्या होत्या, कोणत्या प्रकारचे हल्ले समाविष्ट होते, ते प्रत्यक्ष जगातील adversarial tactics चे कितपत प्रतिनिधित्व करत होते, आणि हल्लेखोर जुळवून घेतल्यावर संरक्षणे कशी वागतात, हे संशोधकांना जाणून घ्यायचे असेल.

दुसरा खुला मुद्दा म्हणजे उपयोगिता. सर्वात मजबूत AI सुरक्षा प्रणाली अनेकदा थोडा friction वाढवतात, मग तो ambiguous actions रोखण्यामुळे असो किंवा agent स्वायत्तपणे काय करू शकतो हे मर्यादित करण्यामुळे. Auto Mode ची संरक्षणे अत्यंत प्रभावी असली, पण वैध कामांमध्ये वारंवार अडथळा आणत असतील, तर उद्योगांना सुरक्षा आणि उत्पादकता यांचा समतोल राखावा लागू शकतो. स्रोत मजकूर हा operational context देत नाही, त्यामुळे तात्काळ निष्कर्ष attack resistance पुरता मर्यादित आहे, पूर्ण product performance पर्यंत नाही.

तरीही, दिशा स्पष्ट आहे. Anthropic असा युक्तिवाद करत आहे की सुरक्षित agents कडे जाणारा मार्ग केवळ अधिक हुशार base model नाही, तर hostile input ला नेहमीची स्थिती मानणारी layered architecture आहे. हे परिपक्व software security कशी विकसित झाली याशी जुळते: एका परिपूर्ण barrier भोवती नव्हे, तर compromise अधिकाधिक कठीण करणाऱ्या अनेक checkpoints भोवती.

AI उद्योगासाठी कदाचित हीच खऱ्या अर्थाने महत्त्वाची खूण आहे. प्रॉम्प्ट इंजेक्शन पूर्णपणे नाहीसे झाले नसले, तरी मॉडेल सुधारणा आणि tightly integrated defensive tooling यांचे संयोजन त्याला मूलभूत अडथळ्याऐवजी अधिक व्यवस्थापनीय engineering problem मध्ये रूपांतरित करत असावे.

हा लेख The Decoder च्या रिपोर्टिंगवर आधारित आहे. मूळ लेख वाचा.