Anthropic का कहना है कि Opus 5 ने ब्राउज़र प्रॉम्प्ट इंजेक्शन जोखिम को काफी कम किया

Anthropic का दावा है कि AI एजेंटों के लिए एक बड़ा रक्षात्मक लाभ मिला है

Anthropic का कहना है कि उसके Opus 5 मॉडल ने AI एजेंटों में सबसे लगातार सुरक्षा समस्याओं में से एक, यानी ब्राउज़र-आधारित प्रॉम्प्ट इंजेक्शन, का प्रतिरोध करने में एक महत्वपूर्ण छलांग लगाई है। कंपनी के सिस्टम कार्ड से उद्धृत विवरणों के अनुसार, जब Opus 5 को कंपनी की Auto Mode सुरक्षा के साथ इस्तेमाल किया गया, तो ब्राउज़र एजेंटों के खिलाफ प्रॉम्प्ट इंजेक्शन हमले 129 परीक्षण परिदृश्यों में से किसी में भी सफल नहीं हुए।

यदि यह परिणाम व्यापक जांच में भी कायम रहता है, तो यह agentic AI के लिए एक महत्वपूर्ण विकास होगा। प्रॉम्प्ट इंजेक्शन उन प्रणालियों को तैनात करने में एक प्रमुख बाधा बन गया है जो वेब ब्राउज़ करती हैं, दस्तावेज़ पढ़ती हैं, या उपयोगकर्ता की ओर से कार्रवाई करती हैं। मूल समस्या भ्रामक रूप से सरल है: कोई हमलावर किसी वेबपेज या अन्य इनपुट के भीतर दुर्भावनापूर्ण निर्देश छिपा देता है, और मॉडल उन निर्देशों का पालन करने लगता है, न कि उन उच्च-प्राथमिकता वाले नियमों का जिन्हें उसे मानना चाहिए था।

यह विफलता-प्रकार विश्वसनीय AI एजेंटों के विचार को लंबे समय से परेशान कर रहा है, क्योंकि यह हमला पारंपरिक सॉफ़्टवेयर सीमाओं को तोड़ने पर निर्भर नहीं करता। यह इस बात का फायदा उठाता है कि भाषा मॉडल पाठ की व्याख्या कैसे करते हैं। परिणामस्वरूप, अत्यधिक सक्षम मॉडल भी शत्रुतापूर्ण या भ्रामक सामग्री द्वारा प्रभावित किए जा सकते हैं, जब तक कि उनके चारों ओर अतिरिक्त सुरक्षा उपाय न जोड़े जाएँ।

Anthropic के अनुसार क्या बदला

बताई गई शून्य प्रतिशत सफलता दर केवल Opus 5 मॉडल की वजह से नहीं थी। यह परिणाम तब लागू हुआ जब Claude Cowork जैसे Anthropic उत्पादों में Auto Mode चालू था। उस सेटअप में, दो अलग-अलग सुरक्षा परतें सक्रिय थीं। एक परत मॉडल द्वारा सामग्री संसाधित किए जाने से पहले आने वाली सामग्री को छिपे हुए या दुर्भावनापूर्ण निर्देशों के लिए स्कैन करती है। दूसरी खतरनाक कार्रवाइयों को उनके निष्पादित होने से पहले रोकती है।

यह अंतर महत्वपूर्ण है। Anthropic के अपने आँकड़े बताते हैं कि Opus 5 ने, उन अतिरिक्त सुरक्षा उपायों के बिना, ब्राउज़र-एजेंट सेटिंग में अभी भी 3.7 प्रतिशत हमले की सफलता दर दिखाई। इसलिए, यह बताया गया सुधार मॉडल-स्तर पर प्रॉम्प्ट इंजेक्शन के हल हो जाने का प्रमाण नहीं, बल्कि एक सिस्टम-स्तरीय उन्नति प्रतीत होता है।

यह सिस्टम-स्तरीय दृष्टिकोण व्यापक उद्योग के लिए महत्वपूर्ण है। AI एजेंटों में सुरक्षा समस्याओं को अब तेजी से सिर्फ मॉडल की समस्या नहीं, बल्कि पूरे स्टैक की समस्या के रूप में देखा जा रहा है। मॉडल बेहतर हो सकता है, लेकिन इनपुट फ़िल्टरिंग, नीति प्रवर्तन, अनुमति-प्रबंधन, और कार्रवाई-गेटिंग सब यह तय करते हैं कि कोई हमला वास्तव में सफल होगा या नहीं।

बेंचमार्क परिणाम प्रगति दिखाते हैं, लेकिन अंतिम समाधान नहीं

स्रोत में Gray Swan के प्रॉम्प्ट इंजेक्शन बेंचमार्क के परिणाम भी उद्धृत हैं। एक सामान्य परीक्षण में, 15 प्रयासों के बाद हमलावर की सफलता Opus 4.8 के साथ 5.5 प्रतिशत से घटकर Opus 5 के साथ 2.0 प्रतिशत बताई गई। इससे तुलना में नामित अन्य मॉडलों, जिनमें Mythos 5 (2.6 प्रतिशत) और Fable 5 (2.8 प्रतिशत) शामिल हैं, से आगे Opus 5 रहा।

ये आँकड़े वास्तविक सुधार का संकेत देते हैं, लेकिन वे इस शीर्षक-स्तरीय दावे की सीमाएँ भी उजागर करते हैं कि प्रॉम्प्ट इंजेक्शन “हल” हो गया है। Anthropic की अपनी प्रस्तुति में भी, सबसे साफ परिणाम एक विशिष्ट उत्पाद कॉन्फ़िगरेशन पर निर्भर करता है, जिसमें कई सुरक्षा उपाय चालू थे। उनके बिना, हमले की सफलता शून्य तक नहीं गिरती। और स्रोत में उद्धृत कम से कम एक तुलना में, असुरक्षित ब्राउज़र-एजेंट स्थिति में Sonnet 5 ने Opus 5 से बेहतर प्रदर्शन किया, जहां उसका दर 0.93 प्रतिशत था, जबकि Opus 5 का 3.7 प्रतिशत।

दूसरे शब्दों में, अधिक उचित निष्कर्ष यह नहीं है कि किसी एक मॉडल ने समस्या को पूरी तरह समाप्त कर दिया है। बल्कि यह है कि Anthropic ने ब्राउज़र एजेंटों के लिए पहले उपलब्ध रहे विकल्पों की तुलना में संभवतः एक अधिक मजबूत व्यावहारिक रक्षा-पैकेज तैयार किया है।

एजेंट प्रतिस्पर्धा के लिए यह क्यों मायने रखता है

प्रॉम्प्ट इंजेक्शन कोई सीमित सुरक्षा चिंता नहीं है। यह agentic AI के सबसे व्यावसायिक रूप से मूल्यवान वादे पर सीधे असर डालता है: ऐसी प्रणालियाँ जो सीमित निगरानी के साथ ऑनलाइन टूल और सूचना स्रोतों में काम कर सकें। यदि उन प्रणालियों को छिपे हुए पाठ, समझौता किए गए निर्देशों, या प्रतिकूल फ़ॉर्मैटिंग द्वारा मोड़ा जा सकता है, तो खरीद, प्रशासन, कोडिंग, शोध, या ग्राहक संचालन जैसे वास्तविक कार्यप्रवाहों में उन पर भरोसा करना कठिन हो जाता है।

यही कारण है कि हमले की सफलता दर में मामूली कमी भी मायने रखती है। सफल हेरफेर की कम संभावना उन कार्यों की सीमा बढ़ा सकती है जिन्हें कंपनियाँ स्वचालित करने के लिए तैयार हों। विक्रेताओं के लिए, यह एक प्रतिस्पर्धात्मक अंतर भी बन सकता है, खासकर तब जब मॉडल क्षमताएँ एक-दूसरे के करीब आती हैं और खरीदार कच्चे बेंचमार्क प्रदर्शन की बजाय परिचालन विश्वसनीयता पर अधिक ध्यान देने लगते हैं।

यह मुद्दा इतना गंभीर रहा है कि OpenAI ने दिसंबर में स्वीकार किया था कि प्रॉम्प्ट इंजेक्शन शायद पूरी तरह कभी हल न हो। यह दृष्टिकोण एक व्यापक उद्योग चिंता को दर्शाता है: क्योंकि भाषा मॉडल प्राकृतिक भाषा इनपुट को ग्रहण करने और उन पर कार्य करने के लिए बनाए गए हैं, वे निर्देशों के टकराव के कुछ रूपों के प्रति स्वाभाविक रूप से संवेदनशील बने रह सकते हैं। रक्षात्मक इंजीनियरिंग जोखिम को कम कर सकती है, लेकिन खुले-समाप्ति वाले वातावरण में पूर्ण प्रतिरक्षा की गारंटी देना कठिन हो सकता है।

आगे क्या देखना है

अगला सवाल यह है कि क्या Anthropic के परिणाम दोहराए और सामान्यीकृत किए जा सकते हैं। आंतरिक सिस्टम-कार्ड डेटा जानकारीपूर्ण हो सकता है, लेकिन बाहरी सत्यापन आमतौर पर यह तय करता है कि कोई दावा की गई सुरक्षा-प्रगति विश्वसनीय उद्योग प्रथा बनती है या नहीं। शोधकर्ता संभवतः जानना चाहेंगे कि 129 ब्राउज़र-एजेंट परिदृश्य कैसे संरचित थे, किस तरह के हमले शामिल थे, वे वास्तविक-विश्व विरोधी रणनीतियों का कितना प्रतिनिधित्व करते थे, और जब हमलावर अनुकूलन करते हैं तो सुरक्षा उपाय कैसे व्यवहार करते हैं।

एक और खुला मुद्दा उपयोगिता का है। सबसे मजबूत AI सुरक्षा प्रणालियाँ अक्सर कुछ घर्षण जोड़ती हैं, या तो अस्पष्ट कार्रवाइयों को रोककर या एजेंट क्या कर सकता है, इसे सीमित करके। यदि Auto Mode की सुरक्षा अत्यधिक प्रभावी है, लेकिन वैध कार्यों में बार-बार बाधा डालती है, तो उद्यमों को सुरक्षा और उत्पादकता के बीच संतुलन बनाना पड़ सकता है। स्रोत पाठ यह परिचालन संदर्भ नहीं देता, इसलिए तात्कालिक निष्कर्ष हमले के प्रतिरोध तक सीमित है, पूरे उत्पाद प्रदर्शन तक नहीं।

फिर भी, दिशा स्पष्ट है। Anthropic का तर्क है कि सुरक्षित एजेंटों का रास्ता सिर्फ एक अधिक स्मार्ट बेस मॉडल नहीं, बल्कि एक स्तरित आर्किटेक्चर है जो शत्रुतापूर्ण इनपुट को एक सामान्य स्थिति के रूप में मानता है। यह दृष्टिकोण उसी तरह है जैसे परिपक्व सॉफ़्टवेयर सुरक्षा विकसित हुई: एकमात्र परिपूर्ण अवरोध पर नहीं, बल्कि कई चौकियों पर, जो समझौते को क्रमशः कठिन बनाती हैं।

AI उद्योग के लिए, शायद यही यहाँ असली उपलब्धि है। भले ही प्रॉम्प्ट इंजेक्शन खत्म न हुआ हो, मॉडल सुधार और सघन रूप से एकीकृत रक्षात्मक टूलिंग का संयोजन संभवतः इसे एक मौलिक अवरोध से एक अधिक प्रबंधनीय इंजीनियरिंग समस्या में बदल रहा है।

यह लेख The Decoder की रिपोर्टिंग पर आधारित है। मूल लेख पढ़ें.