تعتمد ادعاءات OpenAI بشأن ARC-AGI-3 على إعداد الاختبار

تقول OpenAI إنها استعادت الصدارة في ARC-AGI-3، لكن الجدل حول المعيار يتعلق في الحقيقة بالأدوات

تقول OpenAI إن نموذجها GPT-5.6 Sol حقق 38.3% في ARC-AGI-3، وهي نتيجة كانت ستضعه أمام Claude Opus 5 من Anthropic الذي سجل 30.2% على المعيار نفسه. على الورق، يبدو ذلك انعكاسًا مباشرًا في منافسة تحظى بمتابعة واسعة حول الاستدلال المجرد. لكن عمليًا، الأمر أكثر تعقيدًا. فالنتيجة الأعلى تعتمد على تشغيل GPT-5.6 Sol باستخدام Responses API الخاصة بـ OpenAI ومع إعدادين محددين لا يندرجان ضمن إطار الاختبار القياسي للمعيار.

هذه التفرقة مهمة لأن ARC-AGI-3 مصمم لقياس مدى قدرة النموذج على التعامل مع مسائل منطقية غير مألوفة، لا مدى قدرة الشركة على إحاطة نموذجها ببنية تحتية خاصة بالمنتج. ووفقًا للنص المصدر المقدم، لم يسجل GPT-5.6 Sol سوى 7.8% في الإطار الرسمي، حيث يتم التخلص من استدلال النموذج بعد كل خطوة. أما النتيجة الأعلى بكثير من OpenAI فقد جاءت من استخدام “Retained Reasoning”، الذي يحافظ على سلسلة تفكير النموذج بين الخطوات، و“Compaction”، الذي يلخص السياق الأقدم بدلًا من حذفه.

والنتيجة هي جدل يتجاوز مجرد تحديث في لوحة الصدارة. إنه يطرح سؤالًا أصبح محوريًا في تقييم الذكاء الاصطناعي: عندما تتحسن الأنظمة بفضل التعامل مع الذاكرة وإدارة السياق وتصميم واجهة API، فأين يجب أن نرسم الخط الفاصل بين قدرة النموذج والبنية الداعمة للمنتج؟

لماذا أصبح ARC-AGI-3 نقطة اشتعال

تتمتع معايير ARC بمكانة غير مألوفة في صناعة الذكاء الاصطناعي لأنها تهدف إلى اختبار التعميم لا الحفظ. فالمهام مصممة لقياس ما إذا كان النظام يستطيع استنتاج القواعد وحل الألغاز الجديدة، ما يجعلها جذابة بشكل خاص للباحثين وللشركات التي تبحث عن دليل على تقدم أوسع في الاستدلال. وهذا أيضًا سبب حساسية الخلافات حول الإعداد. فالمعيار المصمم لعزل أداء النموذج يصبح أصعب في التفسير إذا كانت نتيجة أحد المزودين تعتمد على ميزات خارج البيئة القياسية.

وتقول حجة OpenAI، كما ورد في النص المصدر، إن المعايير لا تقيس النموذج وحده أبدًا. بل تقيس أيضًا الإعداد التقني المحيط به. ويعكس هذا الموقف واقعًا أوسع في الصناعة. ففي المنتجات المنشورة، نادرًا ما تعمل النماذج بمفردها. فهي تعتمد على طبقات التنسيق، ونوافذ السياق، وأنظمة الاسترجاع، واستخدام الأدوات، وإدارة الحالة. وإذا تجاهل معيار ما هذه المكونات، يمكن للشركات أن تجادل بحق بأنه يقلل من تقدير الأداء في العالم الحقيقي.

لكن ARC-AGI-3 لم يُصمم ليعكس كل قرارات النشر في العالم الحقيقي. بل صُمم لتوحيد البيئة بما يكفي لجعل المقارنات بين المزودين ذات معنى. ولهذا فإن إطار الاختبار الرسمي مهم جدًا في هذه المحادثة. فعندما تنشر OpenAI نتيجة أعلى بكثير خارج ذلك الإطار، فقد تكون بذلك تعرض حزمة منتج أكثر قدرة، لكنها لا تثبت بالضرورة أن النموذج الأساسي أقوى ضمن القواعد الأصلية للمعيار.

الإعدادان اللذان غيّرا النتيجة

يحدد النص المصدر ميزتين من OpenAI تقفان وراء القفزة. الأولى هي Retained Reasoning، التي تحتفظ بسلسلة تفكير النموذج بين الخطوات. والثانية هي Compaction، التي تلخص السياق القديم بدلًا من اقتطاعه. ويبدو أن هذين الإعدادين معًا يعالجان الضعف الذي كان يحد GPT-5.6 Sol في الإطار الرسمي، حيث كان الاستدلال الوسيط يُفقد بعد كل خطوة.

هذا النوع من الاستمرارية يمكن أن يكون حاسمًا في مهام الاستدلال متعددة الخطوات. فإذا تمكن النموذج من الحفاظ على الاستنتاجات السابقة وضغطها في سياق قابل للاستخدام، فقد يتجنب إعادة بناء حالته الداخلية مرارًا. وبعبارة أخرى، تتغير نتيجة المعيار ليس لأن اللغز تغيّر، بل لأن النظام أصبح قادرًا على التذكر بشكل أكثر فعالية أثناء الحل.

لذلك يبدو أن ادعاء OpenAI يقوم على تفسير أوسع لماهية النظام المُختبَر بالفعل. فإذا كان “النظام” يشمل سلوك واجهة API الخاصة بالمزوّد وميزات إدارة الذاكرة، فإن نتيجة 38.3% تصبح ذات صلة. أما إذا كان “النظام” يفترض أن يكون النموذج نفسه تحت واجهة محايدة موحدة، فإن رقم 7.8% الرسمي يظل نقطة المقارنة الأكثر مباشرة.

رد ARC Prize يترك مجالًا للرؤيتين

يقول النص المصدر إن فرانسوا شوليه، الشريك المؤسس لـ ARC Prize، رد بالتمييز بين فئتين من إعدادات الاختبار. فالإطارات المخصصة المصممة خصيصًا لحل المعيار أو التي تتضمن معرفة بتنسيق المعيار محظورة. أما إعدادات API العامة المتاحة لجميع المستخدمين، فهي مقبولة. كما قال شوليه إن ARC Prize كانت تجري مناقشات مستمرة مع OpenAI حول أفضل طريقة لاختبار نماذجها، لا سيما فيما يتعلق بـ compaction، ورحّب بـ“بدء الشركة في التوصل إلى الإجابة”.

هذا الرد لافت لأنه لا يرفض نتيجة OpenAI رفضًا قاطعًا. بل يشير إلى أن ARC Prize ترى أن بعض الإعدادات الخاصة بالمزوّد مقبولة طالما كانت عامة ومتاحة على نطاق واسع ومفصحًا عنها بشفافية مع التكلفة. وفي الوقت نفسه، يلاحظ النص المصدر أن استخدام مزودين مختلفين لإعدادات مختلفة يخلق مشكلة محتملة في تكافؤ الفرص. وبعبارة أخرى، يبدو أن الجهة المنظمة للمعيار مستعدة لتقبل قدر من عدم التماثل، مع إقرارها بأنه يعقد المقارنات المباشرة.

وهذا ينقل الجدل عمليًا من سؤال ما إذا كانت نتيجة OpenAI صحيحة إلى سؤال ما نوع هذه الصحة. فقد تكون صحيحة بوصفها قياسًا لأداء GPT-5.6 Sol عبر حزمة OpenAI الحالية من واجهات API. لكنها أقل وضوحًا بوصفها نتيجة معيارية صافية وقابلة للمقارنة المباشرة مع نماذج اختُبرت وفق افتراضات مختلفة.

ما الذي تكشفه هذه الحادثة عن تقييم الذكاء الاصطناعي الآن

يوضح هذا الخلاف تحولًا أوسع في تقييم الذكاء الاصطناعي. فمع ازدياد طابع الأنظمة الرائدة بوصفها وكلاء واعتمادها على تدفقات عمل طويلة الأمد، ستصبح نتائج المعايير أكثر اعتمادًا على قرارات التصميم وقت التشغيل، لا على أوزان النموذج وحدها. إن الاحتفاظ بالذاكرة، وضغط السياق، وتنسيق الخطوات، وتصميم الواجهة، كلها عوامل يمكن أن تغيّر النتائج. وهذا يخلق مشكلة لكل من يحاول مقارنة المزودين عبر لوحة صدارة ثابتة واحدة.

كما يعني ذلك أن مستخدمي المعايير بحاجة إلى طرح أسئلة أدق. هل اختُبر النموذج في إعداد افتراضي؟ هل فُعّلت ميزات خاصة بالمزوّد؟ هل حافظ الإطار على الاستدلال الوسيط؟ هل جرى الإفصاح عن التكاليف والإعدادات؟ إن النتيجة البارزة من دون هذا السياق أصبحت أقل إفادة مما كانت عليه من قبل.

وبالنسبة إلى OpenAI، يظهر الإعلان أن الشركة عازمة على منازعة الزخم الذي حققته Anthropic مؤخرًا في المعايير. أما ARC Prize، فيوحي ردها باستعداد عملي لتكييف القواعد مع واقع واجهات API الحديثة، بشرط ألا تكون هذه التعديلات مجرد حيل خاصة بالمعيار. وبالنسبة إلى الصناعة الأوسع، فالعبرة ليست فقط بمن يتصدر في يوم معين، بل بصعوبة تعريف اختبار “عادل” عندما يعتمد أداء النموذج على ذكاء طبقة المنتج.

وهذا لا يجعل المعيار غير ذي صلة، بل يجعل الإفصاح أكثر أهمية. فنتيجة OpenAI البالغة 38.3% ذات معنى بوصفها دليلًا على أن GPT-5.6 Sol يمكن أن يؤدي بشكل أفضل بكثير عندما يُحتفظ باستدلاله ويُضغط سياقه بدلًا من اقتطاعه. أما النتيجة الرسمية البالغة 7.8% فهي ذات معنى بوصفها دليلًا على أن النموذج نفسه يؤدي بشكل أسوأ بكثير تحت الإطار القياسي الأكثر صرامة للمعيار. كلا الرقمين يصف شيئًا حقيقيًا. لكنهما لا يصفان الشيء نفسه.

هذه المقالة مبنية على تغطية The Decoder. اقرأ المقال الأصلي.