نص صغير، تأثير كبير
تشير دراسة جديدة لخصتها 404 Media إلى أن كمية صغيرة بشكل مدهش من المحتوى الذي ينشئه المستخدمون يمكن أن تتلاعب بمخرجات أدوات البحث بالذكاء الاصطناعي. ووفقًا للتقرير، وجد باحثون في كورنيل أن مقتطفات نصية لا تتجاوز 13 كلمة على مواقع مثل Reddit وWikipedia وQuora وFacebook يمكن أن تغيّر ما ينتجه وكلاء الذكاء الاصطناعي، بما في ذلك دفعهم نحو محتوى السبام أو الاحتيال.
تحمل الورقة عنوان Deep-research agents can be poisoned via user-generated content وتنسب إلى هال ترايدمان وتينغوي تشانغ وفيتالي شمتاكوف من جامعة كورنيل. وتحذيرها الأساسي هو أن الأنظمة المستخدمة بشكل متزايد لاسترجاع محتوى الويب في الوقت الفعلي معرضة بشدة للتسميم عبر المنصات العامة التي تعمل أيضًا كمصادر للتدريب أو الاستشهاد.
لماذا يهم هذا الآن
هذا القلق ليس نظريًا. فمنتجات البحث بالذكاء الاصطناعي والبحث العميق تجمع بشكل متزايد بين الاسترجاع والتوليد، إذ تسحب مواد حديثة من الويب وتستشهد بالمصادر في إجاباتها. هذا التصميم يهدف إلى تحسين حداثة المعلومات وقابليتها للتتبع. لكنه يخلق أيضًا سطح هجوم جديدًا: إذا كان من الممكن زرع المادة المصدرية أو تغييرها بشكل استراتيجي، يمكن دفع الإجابة المولدة في اتجاه معين أيضًا.
تُقدّر النتائج المنقولة مدى خطورة هذه الثغرة. فبحسب تقرير 404 Media عن النسخة الأولية، تستشهد وكلاء البحث العميق بالمواقع التي ينشئها المستخدمون في نحو نصف جميع الاستعلامات، ويأتي ما يقرب من ربع جميع الاستشهادات من مواقع ويب أنشأها المستخدمون. وهذا يعني أن المنتديات والموارد المحررة بشكل تعاوني ليست مصادر هامشية. إنها مدخلات مركزية.
إذا كان تعليق واحد مسموم على Reddit يمكنه التأثير في المخرجات المولدة لمجموعة كاملة من الاستعلامات ذات الصلة، كما يزعم البحث على ما يبدو، فإن المشكلة تتجاوز حيل الـ prompt المعزولة. وتصبح طريقة قابلة للتوسع لتوجيه أنظمة معلومات قد يتعامل معها كثير من المستخدمين على أنها محايدة أو مُلخّصة.
جبهة جديدة في التلاعب بالبحث
يربط التقرير البحث بصناعة آخذة في النمو توصف كثيرًا بأنها AEO، أو تحسين محركات الذكاء الاصطناعي. ويشير هذا المصطلح إلى الجهود التي تبذلها العلامات التجارية أو جهات أخرى لوضع المحتوى الترويجي حيث يُرجح أن تجده أنظمة الذكاء الاصطناعي وتستشهد به. في عصر البحث التقليدي، كانت المنافسة تتمحور حول رفع ترتيب الصفحات في محركات البحث. أما في عصر الذكاء الاصطناعي المعزز بالاسترجاع، فتشمل المنافسة أيضًا تشكيل المستندات التي تقرؤها أنظمة الذكاء الاصطناعي عند بناء الإجابات.
هذا يغيّر الحوافز بالنسبة للمجتمعات العامة. فخيط Reddit أو صفحة Wikipedia أو إجابة Quora لم تعد مجرد منشور للقراء البشر. بل يمكن أن تصبح أيضًا مادة خامًا لإرشادات تولدها الآلات أو توصيات المنتجات أو الملخصات الحقائقية. والنتيجة هي حافز أقوى لزرع تلك المساحات بمحتوى مصاغ استراتيجيًا.
وبحسب التقرير، لاحظ المشرفون والمحررون بالفعل تدفقات من المواد الترويجية المرتبطة بهذه الديناميكية. ويبدو أن بحث كورنيل يقدم تفسيرًا تقنيًا لسبب إمكانية نجاح هذه الجهود: فالنماذج لا تحتاج بالضرورة إلى حملة كبيرة ومعقدة حتى تتأثر. قد تكون إضافة صغيرة جدًا كافية.
عبء الإشراف يواصل التزايد
أحد أبرز الآثار المترتبة على الورقة ليس تقنيًا فقط بل مؤسسيًا أيضًا. فالمجتمعات التي ينشئها المستخدمون غالبًا ما يديرها مشرفون أو محررون متطوعون. وإذا أصبحت هذه المجتمعات بنية تحتية أولية لأنظمة الذكاء الاصطناعي، فإنها ترث دورًا دفاعيًا جديدًا من دون أن تحصل بالضرورة على الأدوات أو الموارد أو السلطة اللازمة للقيام به.
ويظهر هذا العبء بوضوح خاصة في تصوير التقرير على أنه لعبة قط وفأر بين من يحاولون إبقاء المحتوى منخفض الجودة أو المتلاعب خارج مجتمعاتهم وبين العلامات التجارية أو المشغلين الذين يسعون لاستغلال هذه المجتمعات نفسها من أجل الظهور في الذكاء الاصطناعي. كانت المراقبة البشرية صعبة بالفعل عندما كان الجمهور بشريًا في الأساس. وقد تصبح أصعب بكثير عندما يكون الهدف الحقيقي نظام استرجاع آلي.
كما أن هذه المشكلة تعقّد مصداقية إجابات الذكاء الاصطناعي التي تتضمن استشهادات. فالإجابة التي تستشهد بمصادر عامة قد تبدو أكثر موثوقية من إجابة مولدة بالكامل، لكن إذا كانت المادة المستشهد بها نفسها مسمومة، فإن الاستشهاد يصبح أقل حماية مما يبدو.
ما الذي يغيّره البحث
تتمثل أقوى قيمة لعمل كورنيل، استنادًا إلى الملخص المقدم، في أنه يحوّل مشكلة كان يُشتبه بها على نطاق واسع إلى مسألة أكثر رسمية. لقد لاحظ مراقبون أنماطًا ترويجية مشبوهة ومحاولات للتلاعب بمخرجات الذكاء الاصطناعي. ويبدو أن الدراسة لا تكتفي بإثبات وجود هذا السلوك، بل تظهر أيضًا أن المسار التقني رخيص وفعّال بشكل غير معتاد.
ينبغي أن يهم ذلك شركات الذكاء الاصطناعي ومشغلي المنصات والمنظمين والمستخدمين. فقد تحتاج شركات الذكاء الاصطناعي إلى مرشحات استرجاع أقوى، وأنظمة ترجيح للمصادر، أو اختبارات خصومية ضد المحتوى العام المسموم. وقد تواجه المنصات المجتمعية ضغطًا أكبر لتحديد التلاعب المنسق. وفي الوقت نفسه، قد يحتاج المستخدمون إلى التعامل مع إجابات الذكاء الاصطناعي المصقولة بنفس القدر من الشك الذي طالما أُلقي على نتائج البحث المحسنة لتحقيق مكاسب تجارية.
والدرس الأوسع غير مريح لكنه واضح. فمع تحوّل أنظمة الذكاء الاصطناعي إلى واجهات رئيسية للمعلومات عبر الإنترنت، لا تختفي المعركة على تشكيل المعرفة العامة. إنها تنتقل ببساطة إلى أعلى السلسلة، إلى التعليقات والمنشورات والمقتطفات التي تعتمد عليها تلك الأنظمة. وإذا كانت 13 كلمة قادرة على تحريك إجابة، فإن البيئة المعلوماتية حول بحث الذكاء الاصطناعي أكثر هشاشة مما تبدو.
هذه المقالة مبنية على تقرير 404 Media. اقرأ المقال الأصلي.
Originally published on 404media.co