غوغل تحاول سد تسرب معايير قياس الذكاء الاصطناعي
تقول Google DeepMind إنها تختبر طريقة جديدة لتقييم أنظمة الذكاء الاصطناعي المتقدمة من دون كشف أسئلة الاختبار أو النموذج نفسه. ويُوصف هذا المشروع التجريبي بأنه أول تقييم أعمى مزدوج لنموذج ذكاء اصطناعي رائد مملوك، ويستهدف إحدى أكثر مشكلات القياس استمرارًا في القطاع: تلوث المعايير.
المشكلة بسيطة لكنها مهمة. إذا كان النموذج قد استوعب بالفعل أسئلة المعايير أثناء التدريب أو التحسين، تصبح الدرجات المرتفعة أصعب في التفسير. فقد تعكس النتيجة الحفظ أو التعرض المباشر أو الضبط الخاص بالاختبار، بدلًا من القدرة الأوسع. بالنسبة إلى الشركات والباحثين والجهات التنظيمية والمقيّمين الخارجيين، فإن ذلك يضعف الثقة في إحدى الأدوات الأساسية المستخدمة لمقارنة النماذج وتقييم المخاطر.
وفقًا للتقرير المقدم، يضع نهج غوغل مواد الاختبار السرية داخل بيئة محمية بالتشفير بحيث لا يستطيع مزود النموذج فحص الأسئلة مسبقًا. وفي الوقت نفسه، لا يحصل المقيّم على الوصول إلى أوزان النموذج. والغرض من هذا الترتيب هو إزالة المفاضلة الطويلة في الاختبارات الخارجية، حيث كان يتعين على أحد الطرفين عادةً التخلي إما عن بيانات معيارية حساسة أو عن أصول نموذجية مملوكة.
مشروع تجريبي يتمحور حول Gemini Flash Lite
يستخدم المشروع التجريبي نموذجًا من خط Gemini Flash Lite ويعمل على معايير سرية مع شركاء من بينهم Singapore AI Safety Institute. والهدف المعلن هو الحفاظ على خصوصية الطرفين مع السماح في الوقت نفسه بتقييم خارجي صارم. عمليًا، يبقى المعيار مخفيًا عن غوغل، وتبقى تفاصيل النموذج الداخلية مخفية عن المقيّم.
وتكمن أهمية ذلك في أن اختبار النماذج المتقدمة يعتمد بشكل متزايد على مواد حساسة. ففي مجالات مثل الأمن السيبراني، أو احتمالات سوء الاستخدام، أو التقييمات الحكومية، قد تكون أسئلة المعايير ذات قيمة أو خطورة بحد ذاتها. وإذا تسرّبت هذه الأسئلة، فقد يفقد الاختبار معظم قيمته. وإذا طُلب من مزودي النموذج تسليم الأوزان، فإنهم يواجهون هم أيضًا مخاوف تتعلق بالملكية الفكرية والأمن.
يعرض المقال العملية الجديدة على أنها محاولة لحل هاتين المشكلتين معًا. وتقول غوغل إنها تستخدم Confidential Space من حزمة الحوسبة السرية في Google Cloud لإنشاء بيئة تنفيذ محمية. والغرض ليس مجرد السرية القائمة على السياسة أو العقد، بل العزل التقني المدعوم بالتحقق التشفيري.
لماذا أصبح تلوث المعايير مشكلة أكبر
تلوث المعايير ليس هاجسًا جديدًا في التعلم الآلي، لكنه يصبح أشد خطورة مع تضخم النماذج وتوسع بيانات التدريب واشتداد الضغط التنافسي. فأنظمة النخبة المملوكة تُدرَّب على أحجام هائلة من البيانات على مستوى الإنترنت وعلى بيانات منتقاة. وهذا يزيد احتمال أن تكون مواد شبيهة بالمعايير، أو نسخ قريبة منها، قد دخلت بالفعل في خط التدريب.
حتى عندما لا يُدرج معيار ما بشكل مباشر، قد يحدث التسرب عبر الضبط الدقيق أو حلقات التغذية الراجعة البشرية أو المواد الاصطناعية للتدريب أو التحسين المدفوع بالتكرار العلني لأشكال الاختبارات. وعندما يحدث ذلك، قد تبالغ الدرجات البارزة في تقدير القدرة الفعلية في العالم الواقعي. وبالنسبة للمراقبين الخارجيين، يصبح السؤال الأساسي هو ما إذا كان المعيار يقيس التعميم أم التدريب المسبق.
وتقوم إجابة غوغل المقترحة على جانبين: إبقاء الاختبار أعمى بالنسبة إلى مطوّر النموذج، وإبقاء النموذج غير مكشوف بالنسبة إلى مالك الاختبار. وهذا لا يزيل كل مشكلات التقييم، لكنه يستهدف مباشرة واحدة من أكثرها إفسادًا. فإذا لم يتمكن النموذج من رؤية الأسئلة مسبقًا، تقل فرص المزود في تحسينه خصيصًا لتلك البنود.
ويشير التقرير أيضًا إلى أن التقييمات الخارجية الحساسة كانت تتطلب سابقًا نوعًا من التسوية. كان بإمكان المقيّمين تسليم الأسئلة والثقة بأن المزود لن يحتفظ بها أو يسيء استخدامها، أو كان بإمكان المزودين مشاركة أوزان النموذج وقبول التعرض المرتبط بذلك. ويهدف الإعداد الأعمى المزدوج إلى إزالة هذا الاختيار.
مشكلة ثقة على مستوى الصناعة، لا تخص غوغل وحدها
تكمن الأهمية الأوسع في أن معايير قياس الذكاء الاصطناعي أصبحت قضية حوكمة، لا مجرد قضية ترتيبات الصدارة. فالدرجات تُستعمل بصورة متزايدة في إطلاق المنتجات والمشتريات المؤسسية ونقاشات السلامة والحوار السياسي. وإذا لم تكن الاختبارات التي تقف وراء هذه الادعاءات موثوقة، فإن جانبًا كبيرًا من قاعدة الأدلة العامة حول أداء الذكاء الاصطناعي يصبح أقل مصداقية.
ويشير المقال إلى مثال حديث يتعلق بتأجيل تقييم ARC-AGI لنموذج Fable 5 من Anthropic، حيث جعلت قيود الاحتفاظ بالبيانات الاختبار المستقل أكثر تعقيدًا. ويوضح هذا المثال الاحتكاك التشغيلي الذي قد ينشأ عندما تلتقي النماذج القوية بالمعايير الخارجية السرية. واستنادًا إلى التقرير المقدم: تبدو غوغل وكأنها تضع هذا المشروع التجريبي بوصفه وسيلة لجعل هذه التقييمات أسهل في التنفيذ من دون إجبار أي طرف على كشف غير مريح.
وهناك أيضًا طموح لوضع معيار هنا. تقول غوغل إنها تأمل أن يساعد هذا الجهد الصناعة على بناء أنظمة ذكاء اصطناعي أكثر موثوقية وأوسع ثقة. ويجب قراءة هذا الادعاء بحذر. فالمشروع التجريبي ليس حلًا على مستوى القطاع كله، والثقة في المعايير لا تعتمد على سرية الأسئلة وحدها. فلا تزال جودة تصميم الاختبار، والصرامة الإحصائية، وقابلية التكرار، ونطاق المعيار، واستقلالية المقيّم أمورًا مهمة. لكن الحماية التقنية حول عملية الاختبار قد تصبح جزءًا مهمًا من المنظومة.
ما الذي ينبغي مراقبته لاحقًا
أهم سؤال لاحق هو ما إذا كانت هذه الطريقة ستتجاوز مجرد مشروع تجريبي واحد. فإذا تبنّى مطوّرو النماذج الكبار الآخرون، والمعاهد المستقلة، والمقيّمون الحكوميون آليات مماثلة، فقد يصبح النهج جزءًا من الإشراف المعتاد على النماذج الرائدة. أما إذا بقي محصورًا في عروض لمرة واحدة، فسيكون أثره أضيق.
وسؤال آخر مفتوح هو أنواع التقييمات التي تستفيد أكثر. يشير المقال إلى أن الأمن السيبراني والاختبارات الحكومية مرشحان قويان بشكل خاص لأن الأسئلة نفسها قد تكون حساسة. وقد يمتد هذا المنطق أيضًا إلى بعض سيناريوهات الأمن البيولوجي أو الأمن القومي أو فرق الاختبار التجارية، رغم أن النص المقدم لا يحدد تلك المجالات مباشرة.
في الوقت الحالي، التطور الأساسي واضح: تحاول Google DeepMind نقل معايير قياس الذكاء الاصطناعي من ترتيبات قائمة على الثقة إلى سرية مفروضة تقنيًا. وفي مجال تُناقش فيه ادعاءات الأداء بحدة لا تقل عن الجدل حول الأنظمة نفسها، يُعد هذا تحولًا ملحوظًا. لا يحل هذا المشروع التجريبي الجدل الأوسع حول كيفية قياس قدرة الذكاء الاصطناعي، لكنه يعالج فجوة أساسية في المصداقية. إذا كان الهدف من المعيار اختبار ما يمكن أن يفعله النموذج، فلا ينبغي أن يكون النموذج قد عرف الامتحان مسبقًا.
هذه المقالة مبنية على تقرير من The Decoder. اقرأ المقال الأصلي.
Originally published on the-decoder.com
