تدّعي Anthropic تحقيق مكسب دفاعي كبير لوكلاء الذكاء الاصطناعي
تقول Anthropic إن نموذج Opus 5 حقق قفزة كبيرة في مقاومة إحدى أكثر مشكلات الأمان استمراراً في وكلاء الذكاء الاصطناعي: حقن الأوامر عبر المتصفح. ووفقاً للتفاصيل الواردة من بطاقة النظام الخاصة بالشركة، لم تنجح هجمات حقن الأوامر ضد وكلاء المتصفح في أي من 129 سيناريو اختبار عندما استُخدم Opus 5 مع تشغيل طبقات الحماية في Auto Mode التابعة للشركة.
إذا صمدت هذه النتيجة أمام تدقيق أوسع، فستشكل تطوراً مهماً للذكاء الاصطناعي الوكيلي. فقد أصبح حقن الأوامر عقبة أساسية أمام نشر الأنظمة التي تتصفح الويب أو تقرأ المستندات أو تنفذ إجراءات نيابة عن المستخدم. والمشكلة الأساسية بسيطة بصورة خادعة: يخبئ المهاجم تعليمات خبيثة داخل صفحة ويب أو مدخل آخر، ثم يتبعها النموذج بدلاً من القواعد الأعلى أولوية التي كان من المفترض أن يلتزم بها.
هذا نمط الفشل أرهق فكرة وكلاء الذكاء الاصطناعي الموثوقين لأن الهجوم لا يعتمد على كسر حدود البرمجيات التقليدية، بل يستغل الطريقة التي تفسر بها النماذج اللغوية النصوص. ونتيجة لذلك، يمكن التلاعب حتى بالنماذج عالية الكفاءة عبر محتوى معادٍ أو مضلل ما لم تُضف إليها طبقات حماية إضافية.
ما الذي تقول Anthropic إنه تغيّر
معدل النجاح الصفري المبلغ عنه لم يأتِ من نموذج Opus 5 وحده. فقد تحقق هذا الناتج عندما كان Auto Mode مفعلاً في منتجات Anthropic مثل Claude Cowork. وفي هذا الإعداد، كانت هناك طبقتا حماية منفصلتان تعملان. إحدى الطبقتين تفحص المحتوى الوارد بحثاً عن تعليمات مخفية أو خبيثة قبل أن يعالجه النموذج. أما الطبقة الثانية فتمنع الإجراءات الخطيرة قبل تنفيذها.
هذا التفريق مهم. وتشير أرقام Anthropic نفسها إلى أن Opus 5 من دون تلك الدفاعات الإضافية كان لا يزال يُظهر معدل نجاح هجوم يبلغ 3.7% في بيئة وكيل المتصفح. ولذلك يبدو أن الاختراق المبلغ عنه يمثل تحسيناً على مستوى النظام، لا دليلاً على أن حقن الأوامر قد حُل على مستوى النموذج بشكل منفرد.
هذا التصور القائم على مستوى النظام مهم للصناعة الأوسع. فمشكلات الأمان في وكلاء الذكاء الاصطناعي تُعامل بشكل متزايد باعتبارها مشكلات في طبقة الحزمة التقنية، لا مشكلات نموذج فقط. قد يتحسن النموذج، لكن تصفية المدخلات، وفرض السياسات، وإدارة الأذونات، ومنع الأفعال كلها تؤثر في ما إذا كان الهجوم سينجح فعلاً.
نتائج المقاييس تشير إلى تقدم، لا إلى نهاية الطريق
ويشير المصدر أيضاً إلى نتائج من معيار حقن الأوامر الخاص بشركة Gray Swan المتخصصة في الأمن. ففي اختبار عام، تراجع نجاح المهاجم بعد 15 محاولة، بحسب التقرير، من 5.5% مع Opus 4.8 إلى 2.0% مع Opus 5. وهذا وضع Opus 5 متقدماً على النماذج الأخرى المذكورة في المقارنة، بما في ذلك Mythos 5 بنسبة 2.6% وFable 5 بنسبة 2.8%.
تُظهر هذه الأرقام تحسناً حقيقياً، لكنها تؤكد أيضاً حدود الادعاء العنواني بأن حقن الأوامر قد تم «حلّه». حتى في عرض Anthropic نفسه، تعتمد أنظف نتيجة على تهيئة محددة للمنتج مع تشغيل عدة طبقات دفاعية. ومن دونها، لا ينخفض نجاح الهجوم إلى الصفر. وفي مقارنة أخرى أوردها المصدر، كان أداء Sonnet 5 أفضل من Opus 5 في حالة وكيل المتصفح غير المحمي، حيث سجل 0.93% مقابل 3.7% لـ Opus 5.
بعبارة أخرى، الاستنتاج الأكثر قابلية للدفاع ليس أن نموذجاً واحداً ألغى المشكلة بالكامل، بل أن Anthropic ربما جمعت حزمة دفاع عملية أقوى لوكلاء المتصفح مما كان متاحاً من قبل.
لماذا يهم هذا سباق الوكلاء
حقن الأوامر ليس مجرد مشكلة أمنية هامشية. فهو يمس مباشرة أكثر الوعود التجارية قيمة في الذكاء الاصطناعي الوكيلي: أنظمة قادرة على التنقل عبر الأدوات والمصادر المعلوماتية عبر الإنترنت مع إشراف محدود. وإذا أمكن توجيه هذه الأنظمة بواسطة نصوص مخفية أو تعليمات مخترقة أو تنسيق عدائي، فسيصعب الوثوق بها في سير عمل حقيقية تتعلق بالشراء أو الإدارة أو البرمجة أو البحث أو عمليات خدمة العملاء.
لهذا السبب حتى التخفيضات الطفيفة في معدلات نجاح الهجمات مهمة. فكلما انخفض احتمال التلاعب الناجح، اتسع نطاق المهام التي تكون الشركات مستعدة لأتمتتها. وبالنسبة إلى المزودين، يمكن أن يصبح ذلك أيضاً نقطة تميز تنافسية، خاصة مع تقارب قدرات النماذج وبدء المشترين بالتركيز أكثر على الموثوقية التشغيلية من الأداء الخام في المقاييس.
وقد بلغ الأمر حداً جعل OpenAI تعترف في ديسمبر بأن حقن الأوامر قد لا يُحل بالكامل أبداً. ويعكس هذا الرأي قلقاً أوسع في الصناعة: لأن النماذج اللغوية صُممت لاستيعاب المدخلات الطبيعية والتصرف بناءً عليها، فقد تظل مكشوفة بطبيعتها لبعض أشكال تعارض التعليمات. يمكن للهندسة الدفاعية أن تقلل الخطر، لكن من الصعب ضمان حصانة كاملة في البيئات المفتوحة.
ما الذي يجب مراقبته لاحقاً
السؤال التالي هو ما إذا كانت نتائج Anthropic قابلة لإعادة الإنتاج والتعميم. يمكن لبيانات بطاقة النظام الداخلية أن تكون مفيدة، لكن التحقق الخارجي هو ما يحدد عادة ما إذا كانت خطوة الأمان المزعومة ستصبح ممارسة موثوقة في الصناعة. وسيود الباحثون على الأرجح معرفة كيف بُنيت سيناريوهات وكيل المتصفح الـ129، وما أنواع الهجمات التي شملتها، ومدى تمثيلها لأساليب الخصوم في العالم الواقعي، وكيف تتصرف هذه الحماية عندما يتكيف المهاجمون.
هناك مسألة أخرى مفتوحة وهي سهولة الاستخدام. فأنظمة أمان الذكاء الاصطناعي الأقوى غالباً ما تضيف قدراً من الاحتكاك، إما بحظر الإجراءات الغامضة أو بتضييق ما يمكن للوكيل فعله بشكل مستقل. وإذا كانت حماية Auto Mode فعالة جداً لكنها تتداخل كثيراً مع المهام المشروعة، فسيتعين على المؤسسات الموازنة بين الأمان والإنتاجية. ولا يوفر النص المصدر هذا السياق التشغيلي، لذا يظل الاستنتاج الفوري مقصوراً على مقاومة الهجمات لا على الأداء الكامل للمنتج.
ومع ذلك، فالإشارة الاتجاهية واضحة. تجادل Anthropic بأن الطريق إلى وكلاء أكثر أماناً لا يمر فقط عبر نموذج أساس أذكى، بل عبر بنية متعددة الطبقات تتعامل مع المدخلات العدائية باعتبارها حالة روتينية. ويتوافق هذا النهج مع كيفية تطور أمان البرمجيات الناضجة: ليس حول حاجز واحد مثالي، بل حول عدة نقاط تفتيش تجعل الاختراق أصعب تدريجياً.
وبالنسبة إلى صناعة الذكاء الاصطناعي، قد يكون هذا هو الإنجاز الحقيقي هنا. فحتى لو لم يختفِ حقن الأوامر، فإن الجمع بين تحسينات النموذج وأدوات الدفاع المدمجة بإحكام قد يكون أخيراً يحوله من عائق أساسي إلى مشكلة هندسية أكثر قابلية للإدارة.
هذه المقالة مبنية على تقرير من The Decoder. اقرأ المقال الأصلي.
Originally published on the-decoder.com
