يطرح CEO-Bench سؤالًا أصعب من معظم تقييمات الذكاء الاصطناعي
حققت أنظمة الذكاء الاصطناعي نتائج قوية في المهام المحدودة النطاق مثل إصلاحات البرمجة، وتبادلات خدمة العملاء، وسير العمل المهيكل على الويب. لكن تلك الاختبارات تقيس عادة الأداء عبر دورات قصيرة: يتلقى النموذج هدفًا واضحًا، ويتخذ مجموعة محدودة من الإجراءات، ويحصل على تغذية راجعة بسرعة. أما المعيار الجديد الذي وصفه باحثون في جامعة برينستون فيستهدف أمرًا أصعب بكثير: هل يستطيع وكيل ذكاء اصطناعي اتخاذ العديد من القرارات التجارية المترابطة على مدى فترة طويلة من دون أن يقود نفسه إلى الفشل.
المعيار، الذي يحمل اسم CEO-Bench، يضع وكيل ذكاء اصطناعي على رأس شركة برمجيات اشتراك خيالية باسم NovaMind لمدة 500 يوم محاكى. تبدأ الشركة من دون أي عملاء وبمليون دولار نقدًا. ويتعين على الوكيل أن يقرر كيفية إدارة العمل بينما يراقب مؤشرات مثل نمو المشتركين، والإلغاءات، ونتائج الدعم، وإشارات السوق، والنقد المتبقي. إذا انخفض رصيد الشركة تحت الصفر ولو مرة واحدة، تنتهي المحاكاة بالإفلاس.
النتيجة الأبرز مثيرة للقلق لمن يتوقعون أن النماذج المتقدمة الحالية يمكن أن تعمل أيضًا كمديرين تنفيذيين مستقلين. ووفقًا للتقرير المقدم، لم يُنهِ المحاكاة الكاملة لمدة 500 يوم إلا ثلاثة نماذج ذكاء اصطناعي، مع امتلاكها نقدًا أكثر مما بدأت به. معظم النماذج فشلت في الحفاظ على رأس المال، وتفوّقت عليها تقريبًا جميعًا قاعدة إرشادية بسيطة لا تعتمد على الذكاء الاصطناعي.
ما الذي يحاول المعيار قياسه
يصف الباحثون CEO-Bench بأنه اختبار لما يسمونه “ذكاء التوجيه”: القدرة على قيادة منظمة نحو أهداف طويلة الأمد تحت عدم اليقين. وهذه قدرة مختلفة عن حل مهمة واحدة في كل مرة. فإدارة شركة محاكاة، حتى لو كانت افتراضية، تتطلب ترتيب الأولويات بين خيارات غير مكتملة، وتخصيص موارد شحيحة، وقراءة إشارات مشوشة، والتكيف مع ظروف متغيرة عبر مئات الخطوات. والقرار الخاطئ لا يفشل دائمًا فورًا. بل يمكن أن تتراكم المشكلات تدريجيًا حتى تصبح الشركة غير قابلة للاستمرار.
هذا التمييز مهم لأن الكثير من النقاش العام الحديث حول وكلاء الذكاء الاصطناعي ركز على كفاءتهم المتزايدة في الأعمال المحدودة. فالوكيل الذي يستطيع كتابة الشيفرة، أو الاستعلام من قاعدة بيانات، أو صياغة منشورات اجتماعية قد يظل عاجزًا عن تحديد أي من هذه الإجراءات أهم، ومتى ينبغي إنفاق المال، ومدى العدوانية المناسبة في السعي إلى النمو، أو متى يكون ضبط النفس هو الاستراتيجية الأفضل. وقد صُمم CEO-Bench لإظهار هذه الفجوة.
يوضح الباحثون الفكرة الأوسع بمثال بشري شهير: أزمة آبل القريبة من الانهيار في عام 1997، عندما بسّط ستيف جوبز تركيز الشركة على المنتجات إلى أربعة أرباع أساسية. سواء قبل المرء هذه القصة كنموذج كامل للقيادة التجارية أم لا، فإن المقارنة توضح ما يستهدفه المعيار. الحكم الاستراتيجي ليس مجرد تنفيذ. إنه اختيار ما لا يجب فعله، والقيام بذلك في وقت مبكر بما يكفي كي يكون لتلك الاختيارات أثر.
كيف تُدار NovaMind داخل المحاكاة
في CEO-Bench، لا يقتصر دور الذكاء الاصطناعي على الاختيار من قائمة قصيرة من القرارات الجاهزة. بل يعمل عبر واجهة Python API تضم 34 أداة، مع إمكانية الوصول إلى قاعدة بيانات تحتوي على 19 جدولًا. ويمكن للوكيل كتابة شيفرته الخاصة، وتشغيل استعلامات SQL، وفحص معلومات الأعمال، والتفاعل مع أدوات على نمط الإدارة، وإنشاء تدفقات عمل مخصصة من خلال ما يتعلمه. لذلك تحاول المحاكاة أن تشبه بيئة تشغيل أكثر واقعية بدلًا من كونها اختبارًا بأجوبة واضحة.
هذه الإعدادات مهمة لأن مشكلات الإدارة طويلة الأمد نادرًا ما تُحل بحركة واحدة. فقد يحتاج النموذج إلى دمج بيانات العملاء مع الإشارات التشغيلية، أو تغيير الأولويات عند ظهور معلومات جديدة، أو تنسيق عدة إجراءات قبل أن يصبح لأي أثر تجاري ظهور. كما يتعين على الوكيل أن يتنقل في سياق أعمال تؤثر فيه دورات السوق، وتذاكر الدعم، واتجاهات المشتركين، والتدفق النقدي بعضها في بعض.
عمليًا، هذا يعني أن النموذج قد يبدو كفؤًا محليًا بينما يفشل عالميًا. فقد يحسن مشكلة فرعية مرئية، مثل توليد النشاط أو تقليص تراكم معين، لكنه يتخذ مقايضات تضعف موقف الشركة ككل. وتلتقط الدرجة النهائية المعتمدة على النقد هذه النتيجة الأوسع. ولا قيمة كبيرة للذكاء قصير الأمد إذا نفدت أموال الشركة.
لماذا تهم النتائج خارج نطاق شركة خيالية واحدة
الخلاصة المباشرة هي أن وكلاء الذكاء الاصطناعي الحاليين يبدو أنهم أفضل بكثير في التنفيذ الضيق من السيطرة التنظيمية المستمرة. وهذا لا يعني أن الأنظمة الأساسية عديمة الفائدة في السياقات التجارية. بل يعني أنها قد تكون أكثر موثوقية كأدوات داخل عملية يقودها البشر من كونها متخذة قرارات مستقلة ذات سلطة واسعة.
ولهذا آثار على كيفية تفكير الشركات في نشر الوكلاء. فالشركات التي تجرب الذكاء الاصطناعي في العمليات الداخلية تتحدث كثيرًا عن الأتمتة الشاملة من البداية إلى النهاية، لكن CEO-Bench يشير إلى أن الاستقلالية تصبح أكثر خطورة كلما طالت المهام وتشابكت أكثر. فقد يتعامل الوكيل جيدًا مع وظائف معزولة بينما يظل يفتقر إلى الحكم اللازم لضمها في استراتيجية دائمة.
والنتيجة لافتة أيضًا لأن قاعدة إرشادية غير معتمدة على الذكاء الاصطناعي تفوقت على تقريبًا كل النماذج. وهذا يشير إلى أن الفشل لا يتعلق فقط بالذكاء الخام بمعناه المجرد. بل قد يتعلق أيضًا بالاستقرار والانضباط والقدرة على تجنب الحركات التي تضر بالنفس في البيئات الغامضة. وفي بعض السياقات، قد تتفوق سياسة ثابتة محافظة على نظام أكثر مرونة يبالغ في رد الفعل أو يطارد الضجيج أو يخصص الموارد بشكل خاطئ.
قد تصبح معايير مثل CEO-Bench أكثر فائدة مع تسويق مزودي الذكاء الاصطناعي لأنظمة موجهة للعمل الإداري والعمل الوكيلي. فالتقييمات الحالية تكافئ غالبًا إتمام المهام، لكنها لا تكشف دائمًا ما إذا كان النموذج قادرًا على الحفاظ على القيمة بمرور الوقت. وتحتاج الشركة التي تقرر منح الذكاء الاصطناعي صلاحيات في العمليات أو الميزانية أو الاستراتيجية إلى أدلة أقرب إلى هذا السؤال الواقعي.
ما الذي يثبته CEO-Bench وما الذي لا يثبته
يبقى المعيار مجرد محاكاة، وأي محاكاة لها حدودها. فالشركة الناشئة الخيالية لا تستطيع أن تجسد كامل تعقيد الشركات الحقيقية أو الصناعات أو ديناميكيات القيادة. كما أن المواد المقدمة لا توفر ترتيبًا كاملًا لجميع النماذج، ولا ملاحظات منهجية مفصلة، ولا تفصيلًا للاستراتيجيات التي أدت إلى النجاح أو الفشل. لذلك لا ينبغي المبالغة في هذه النتائج باعتبارها حكمًا عالميًا على إدارة الذكاء الاصطناعي.
ومع ذلك، تشير الأدلة إلى اتجاه واضح. فالأداء القوي في المهام القصيرة لا يتحول تلقائيًا إلى كفاءة في التوجيه طويل الأمد. وهذه الفجوة مهمة لأن كثيرًا من أكثر قرارات الأعمال قيمة هي بالضبط تلك التي تتكشف على مدى فترات طويلة، وتتضمن معلومات غير مكتملة، وتعاقب الأخطاء الصغيرة فقط بعد تراكمها.
حتى الآن، يبدو CEO-Bench أقل شبهاً بتتويج المدير التنفيذي المستقل بالذكاء الاصطناعي وأكثر شبهاً باختبار ضغط للفكرة. وتشير النتائج المبكرة إلى أن الصناعة لا تزال بعيدة بعض الشيء عن وكلاء يمكنهم إدارة شركة بشكل موثوق عبر عدم يقين مستمر. وإذا كان هناك شيء يبرزه المعيار، فهو دور أقرب إلى الواقع للذكاء الاصطناعي في المدى القريب: ليس استبدال القيادة، بل دعمها بينما يحتفظ البشر بالسيطرة على الأولويات والمقايضات وعواقب الخطأ.
هذه المقالة تستند إلى تقرير من The Decoder. اقرأ المقال الأصلي.
Originally published on the-decoder.com