مقياس التكلفة الجديد من METR يختبر متى تتوقف وكلاء الذكاء الاصطناعي عن كونها صفقة رابحة

يطرح معيار جديد سؤالًا أصعب على الذكاء الاصطناعي: ليس هل يمكن للوكلاء المساعدة، بل متى يكونون جديرين بالتكلفة؟

مع تحسن أنظمة الذكاء الاصطناعي، يصبح أحد أهم الأسئلة العملية أقل تعلقًا بما إذا كانت قادرة على إنجاز مهمة أصلًا، وأكثر تعلقًا بما إذا كانت تستطيع إنجازها بتكلفة إجمالية أقل من تكلفة البشر. وقد اقترحت METR، وهي مؤسسة بحثية تركز على تقييم أنظمة الذكاء الاصطناعي المتقدمة، مقياسًا جديدًا لمعالجة هذا السؤال مباشرة. وتطلق على هذا المقياس اسم “أفق الإنفاق”، وتقوم فكرته ببساطة على مقارنة مقدار ما يحتاج كل من نظام الذكاء الاصطناعي والإنسان إلى إنفاقه لتحقيق المستوى نفسه من التحسن، ثم تحديد النقطة التي تتساوى فيها التكاليف.

وتكمن أهمية هذه الفكرة في أن كثيرًا من معايير الذكاء الاصطناعي الشائعة تختزل الأداء إلى نتيجة نجاح أو فشل بسيطة. قد تُظهر هذه الاختبارات ما إذا كان النموذج قد حل مشكلة ما، لكنها غالبًا لا تقول الكثير عن المقايضات الاقتصادية المرتبطة بالوصول إلى تلك النتيجة. وبالنسبة إلى الشركات والمختبرات وصناع السياسات الذين يقررون أين يكون أتمتة الذكاء الاصطناعي مجدية فعلًا، أصبح من الصعب تجاهل هذا النقص.

كيف يعمل أفق الإنفاق

وفقًا للمادة المصدرية، يضع إطار METR تكاليف العمل البشري وتكلفة تشغيل أنظمة الذكاء الاصطناعي والحوسبة المستخدمة في التجارب ضمن مقارنة واحدة. والنتيجة هي مقياس أكثر استمرارية للقيمة بدلًا من درجة ثنائية. فإذا كانت الميزانية التي يتطلبها الذكاء الاصطناعي أقل من الميزانية التي يحتاجها الإنسان لتحقيق التحسن نفسه، فإن الذكاء الاصطناعي يقع في الجانب المواتي من أفق الإنفاق. وإذا احتاج الذكاء الاصطناعي إلى إنفاق أكبر، يبقى الإنسان هو الخيار الأرخص.

وهذا التصور مفيد لأنه يطابق الطريقة التي تتخذ بها كثير من المؤسسات قراراتها بالفعل. فهي نادرًا ما تسأل عما إذا كان الذكاء الاصطناعي قادرًا على إنتاج أي مخرجات على الإطلاق، بل تسأل ما إذا كان استخدامه يقلل التكلفة أو الوقت أو كليهما، بعد احتساب الإشراف والتجريب وإعادة المحاولة والبنية التحتية. وقد يفشل وكيل يبدو مثيرًا للإعجاب في عرض توضيحي إذا كان يستهلك كثيرًا من الحوسبة أو يحتاج إلى تشغيلات داعمة كثيرة.

وتقول METR إن لهذه الطريقة ميزتين رئيسيتين مقارنة بالتقييمات الأكثر شيوعًا. أولًا، إنها تنتج قيمة اقتصادية دقيقة بدلًا من حكم النجاح أو الرسوب. ثانيًا، إنها تحول عدة مدخلات مختلفة إلى عملة واحدة، مما يسهل مقارنة الجهد البشري والآلي ضمن الإطار نفسه.

اختبار الفكرة على NanoGPT speedrun

لاختبار المقياس، استخدمت METR مشروع NanoGPT speedrun، وهو مشروع مجتمعي عام يتنافس فيه المشاركون على تدريب نموذج لغوي بأسرع وقت ممكن على عتاد معياري، من خلال تحسين نهج التدريب بدلًا من تغيير المهمة نفسها. ويقدم المشروع بيئة نظيفة على نحو غير معتاد للمقارنة، لأن الهدف ثابت بينما يمكن تتبع التحسينات في الأداء بمرور الوقت.

وتقول المادة إن السباق سجل 82 خطوة تحسين موثقة ابتداءً من مايو 2024، ما أدى إلى خفض وقت التدريب التراكمي من نحو 45 دقيقة إلى أقل من دقيقتين. وقد أتاح هذا السجل التاريخي لـ METR طريقة لتقدير مقدار الجهد البشري الذي دخل في كل مكسب هامشي، ثم مقارنته بتكلفة مطالبة أنظمة الذكاء الاصطناعي بإنتاج تقدم مشابه.

ولتقدير الجهد البشري، أجرت METR مقابلات مع اثنين من أكثر المساهمين نشاطًا في المشروع، كما استخدمت نموذج ذكاء اصطناعي هو Opus-4.6 لتقدير العمل الكامن وراء كل تحسين. وتوصل النهجان إلى رقم تقريبي متقارب: نحو 16 ساعة عمل لكل تحسن بنسبة 1% في السرعة. وتصف المادة المصدرية الجانب البشري أيضًا بأنه ينفق نحو 2500 دولار مقابل كل تحسن بنسبة 1%.

لماذا النتيجة المبكرة مقلقة لوكلاء الذكاء الاصطناعي

إن النتيجة المبكرة الموصوفة في المصدر ليست انتصارًا كبيرًا. ففي هذا المعيار، يبدو أفق الإنفاق غير مبشر بالنسبة إلى الوكلاء الحاليين. وهذا لا يعني أن أنظمة الذكاء الاصطناعي عديمة الفائدة في الأعمال التي تعتمد على التحسين المكثف، لكنه يشير إلى أنها، بعد احتساب جميع التكاليف، قد لا تزال تواجه صعوبة في التفوق على المساهمين البشر في مهام التحسين الأصعب أو الأعلى تكلفة.

ويتوافق هذا النمط مع حدس أوسع في تقييم الذكاء الاصطناعي: غالبًا ما تبدو الوكلاء أقوى ما يكونون في المشكلات الصغيرة والرخيصة والمحددة جيدًا، لكن ميزتهم تضعف كلما أصبحت المهام أكثر تعقيدًا وأكثر تكلفة. وتقول المادة المصدرية إن METR رأت شيئًا مشابهًا في اختبارات سابقة. فقد يتمكن الذكاء الاصطناعي من التغلب على البشر في المهام الأبسط والأقل تكلفة، لكن مع ارتفاع الميزانيات وصعوبة المشكلات، يصبح البشر غالبًا الخيار الأكثر اقتصادًا.

وهذا تصحيح مهم للسرديات المبالغ فيها حول هندسة الذكاء الاصطناعي الذاتي. فإذا استطاع وكيل أن ينتج تعديلًا مفيدًا بسرعة، فقد يكون فعالًا من حيث التكلفة ضمن نطاق تشغيلي ضيق. لكن إذا احتاج إلى تجريب موسع، أو مطالبات متكررة، أو فواتير استدلال ضخمة، أو حوسبة داعمة مكلفة، فإن الجدوى التجارية يمكن أن تتآكل بسرعة. وأفق الإنفاق هو محاولة لقياس أين يبدأ هذا التآكل بالضبط.

ما الذي يوضحه المقياس، وما الذي يفوته

تكمن قيمة اقتراح METR في أنه ينقل النقاش من القدرة الخام إلى القدرة المعدلة بالتكلفة. وهذا معيار أشد صرامة، وربما يكون الأنسب للنشر في العالم الحقيقي. فالشركات لا تتبنى الأدوات لأنها جديدة، بل لأنها تحسن الإنتاجية أو تخفض التكاليف أو توسع القدرة أو تجمع بين هذه الأمور. وأي معيار لا يستطيع الحديث عن هذه النتائج تكون فائدته العملية محدودة.

وفي الوقت نفسه، تشير المادة المصدرية إلى أن المقياس لديه نقاط عمياء. فكل إطار يختزل العمل البشري والحوسبة التجريبية وتشغيل الذكاء الاصطناعي إلى مقارنة واحدة بالدولار سيتضمن افتراضات. فقد تختلف جودة العمل البشري، وقد تختلف الأجور بالساعة. وبعض الأفكار التي يولدها الذكاء الاصطناعي قد يكون من السهل استبعادها، بينما قد يفتح بعضها الآخر مكاسب كبيرة. كما أن اختيار مهمة المعيار مهم أيضًا. فـ NanoGPT speedrun مشروع عام وقابل للقياس ومرتبط تقنيًا، لكنه يظل مجالًا واحدًا فقط.

وهناك تحذير مهم آخر في المصدر: قد تغير الأجيال الأحدث من النماذج الصورة بسرعة. فنتيجة أفق إنفاق مخيبة اليوم لا تحسم المسألة للعام المقبل. وإذا تحسنت جودة النماذج، أو أصبح استخدام الأدوات أكثر موثوقية، أو انخفضت تكاليف الاستدلال، فقد تتحرك نقطة التقاطع بين اقتصاديات الإنسان والذكاء الاصطناعي بشكل كبير.

لماذا يهم هذا أبعد من معيار واحد

حتى مع هذه التحفظات، يصل اقتراح METR في لحظة مفيدة. فالنقاشات حول الذكاء الاصطناعي مزدحمة بادعاءات عن الإنتاجية والتسريع والأنظمة القادرة على تحسين نفسها. ولا يزال جزء كبير من هذا الجدل مجردًا لأن المجال يفتقر إلى طرق مشتركة لمقارنة جهد الإنسان والآلة على قدم المساواة. وأفق الإنفاق هو محاولة لبناء هذه الطريقة.

وقد تكون مساهمته الأكبر ثقافية بقدر ما هي تقنية. فهو يدفع التقييم بعيدًا عن العروض المسرحية ونحو واقع الميزانية. وهذا هو الضغط الصحيح في سوق تحتاج فيه الشركات بشكل متزايد إلى تبرير إنفاقها على الذكاء الاصطناعي بعوائد قابلة للقياس. وإذا انتشر المقياس، فقد يساعد على التمييز بين تدفقات العمل التي تكون فيها الوكلاء اقتصادية حقًا وتلك التي تبدو فعالة فقط إلى أن تُحسب كل التكاليف.

وفي الوقت الحالي، تشير النتائج المبكرة لـ METR إلى خلاصة متحفظة. فقد تكون وكلاء الذكاء الاصطناعي مفيدة بالفعل في بعض مهام التحسين الضيقة، لكن لا ينبغي افتراض تفوقها من حيث التكلفة. وفي المجالات التي تهم المشترين والبنائين أكثر من غيرها، لم يعد السؤال هو فقط ما الذي يمكن للنموذج فعله، بل ما الذي يمكنه فعله بأقل تكلفة من الإنسان.

هذه المقالة مبنية على تقرير من The Decoder. اقرأ المقال الأصلي.