قد يرث وكلاء الذكاء الاصطناعي المؤسسيون أقدم مشكلة ثقة في الويب
يحذر باحثو جوجل من أن صفحات الويب العامة الخبيثة تقوم فعليًا بتسميم وكلاء الذكاء الاصطناعي المؤسسيين عبر حقن المطالبات غير المباشر، وفقًا للبيانات الوصفية والمقتطف المقدمين. ويشدد هذا التحذير على قلق ظل يحيط بالذكاء الاصطناعي الوكيلي لأشهر: فكلما زادت الاستقلالية الممنوحة للأنظمة كي تقرأ وتلخص وتتخذ إجراءات عبر مصادر خارجية، زاد احتمال أن ترث الطابع العدائي للويب المفتوح.
التهديد الموصوف هنا ليس استغلالًا برمجيًا تقليديًا بالمعنى الضيق. إنه تلاعب بسلوك النموذج. يمكن لصفحة خبيثة أن تضمّن تعليمات أو محتوى مصممًا للتأثير في وكيل ذكاء اصطناعي يزورها أو يفهرسها أو يلخصها. وإذا كان هذا الوكيل مرتبطًا بأدوات أو سير عمل مؤسسية، فالمخاطر لا تقتصر على مخرجات سيئة، بل قد تمتد إلى القرارات وسلاسل الاسترجاع والإجراءات التشغيلية اللاحقة.
لماذا يصعب حل حقن المطالبات غير المباشر بنيويًا
يكتسب هذا التحذير أهمية لأنه يستهدف افتراضًا تصميميًا وراء كثير من منتجات الذكاء الاصطناعي الحالية: أن الوكلاء يمكنهم العمل بأمان على مجموعة واسعة من المستندات إذا وضع المطورون ما يكفي من الضوابط حول النموذج. وتحدي هجمات حقن المطالبات غير المباشر هذا الافتراض عبر تلويث طبقة الإدخال نفسها. فالمشكلة ليست فقط ما يطلبه المستخدم من النموذج، بل ما الذي يطلبه المحيط بالنموذج دون أن يدرك المستخدم ذلك.
ويذكر المقتطف المقدم أن فرق الأمن التي فتشت مستودع Common Crawl وجدت أدلة مرتبطة بهذا الخطر. وتكتسب هذه المعلومة أهمية لأن Common Crawl ضخم ويُستخدم على نطاق واسع في أعمال البيانات على مستوى الويب. وإذا كانت أنماط حقن المطالبات ظاهرة بالفعل هناك، فالمسألة ليست نظرية. وهذا يشير إلى أن المحتوى الخبيث يمكن زرعه في البيئة المعلوماتية العامة نفسها التي تعتمد عليها أنظمة الذكاء الاصطناعي بشكل متزايد للاسترجاع أو التلخيص أو التصفح.
لماذا ترفع الوكلاء مستوى المخاطرة
قد تهلوس روبوتات الدردشة أو تسيء فهم التعليمات، لكن الوكلاء يخلقون سطحًا أكثر خطورة لأنهم مصممون للقيام بأفعال. فهم يجلبون الصفحات، ويربطون الأنظمة، ويصيغون الإجراءات، وأحيانًا يطلقون سير عمل. وهذا يعني أن الصفحة المسمومة لا تحتاج إلى “اختراق” البرنامج بالمعنى التقليدي كي تكون خطيرة. يكفيها أن تحرف استدلال النموذج بما يكفي لتغيير ما يحدث بعد ذلك.
بالنسبة إلى الشركات، يخلق هذا سؤالًا جديدًا حول حدود الأمان. فالويب طالما احتوى على رسائل مزعجة، وعمليات احتيال، وبرامج نصية خبيثة، ومحتوى مضلل. ويتنقل العاملون البشر في هذه البيئة بمزيج من التدريب، وحماية المتصفح، والضوابط المؤسسية. أما وكلاء الذكاء الاصطناعي فلا يمتلكون بعد حكمًا مماثلًا، ويمكنهم معالجة المحتوى العدائي بسرعة الآلة وعلى نطاق الآلة. وهذا الاختلال يحول مشكلة إنترنت مألوفة إلى مشكلة مميزة لعصر الذكاء الاصطناعي.
الدرس الأوسع في نشر الذكاء الاصطناعي
ينبغي قراءة تحذير جوجل بوصفه مسألة في بنية المنتج، لا مجرد هامش بحثي. فأي نظام يتيح لوكيل ذكاء اصطناعي تصفح الصفحات العامة أو استيعابها يجب أن يفترض أن تلك الصفحات قد تحتوي على تعليمات عدائية. والافتراض الآمن ليس الثقة، بل الشك والعزل والتحقق متعدد الطبقات قبل السماح لمخرجات الوكيل بالتأثير في الأنظمة الحساسة.
ولا تتضمن المادة المقدمة إرشادات جوجل الكاملة للتخفيف، لذا فالأدلة المتاحة هنا توجيهية أكثر منها شاملة. لكن الاتجاه واضح بما يكفي. فالوكلاء المؤسسيون يصطدمون بحقيقة أن نماذج اللغة تفسر النص، والويب يحتوي على نص يكتبه المهاجمون. ومع اندفاع المزيد من الشركات إلى تشغيل الوكلاء، قد لا يعود السؤال الأمني الأهم هو ما الذي يمكن أن يفعله النموذج، بل ما الذي يمكن خداعه ليفعله.
يعتمد هذا المقال على تغطية AI News. اقرأ المقال الأصلي.