الحلقات المفقودة في استقلالية الذكاء الاصطناعي الوكيلي: لماذا الثقة هي عنق الزجاجة الحقيقي

الذكاء الاصطناعي الوكيلي يصل إلى حيث تُقاس الأخطاء بعدد المرضى

جرى تقييم الذكاء الاصطناعي الطبي تقليديًا كما لو كان اختبارًا تشخيصيًا. يُدرَّب النموذج على مجموعة بيانات، ويُقارَن بأداء الأطباء على عينة محجوزة، ويُقيَّم وفق الحساسية أو النوعية أو أي مقياس آخر للصحة. ويقوم هذا النهج بأكمله على افتراض: أن النموذج يُنتج مخرجات، وأن إنسانًا يفسرها.

الذكاء الاصطناعي الوكيلي يكسر هذا الافتراض. فهذه الأنظمة مصممة لتحقيق أهداف عبر خطوات متعددة — استرجاع السجلات، وطلب الفحوصات، وصياغة الوثائق، وجدولة المتابعات، وتعديل الخطة مع ورود معلومات جديدة. وتستهدف ورقة نُشرت في Nature Medicine في 2 أكتوبر 2026 بعنوان "الحلقات المفقودة في استقلالية الذكاء الاصطناعي الوكيلي" الفجوة التي يخلقها ذلك. وموضوعها ليس دقة النموذج بل الثقة: وتحديدًا الثقة التشغيلية والاتخاذية التي يجب أن تتوافر قبل السماح للأنظمة المستقلة بالمشاركة ذات المعنى في الرعاية.

يمثل هذا التأطير خروجًا متعمدًا عن الطريقة التي يناقش بها المجال عادةً سلامة الذكاء الاصطناعي. فمعظم النقاشات تتعامل مع الثقة كنتيجة لاحقة للأداء — ابنِ نموذجًا أفضل، وستتبع الثقة. وتشير هذه الورقة إلى أن العلاقة تسير في الاتجاه المعاكس أيضًا: فبدون هياكل تجعل الثقة قابلة للقياس ومكتسبة، لا يمكن تفويض حتى النماذج الممتازة بأمان.

نوعان من الثقة، لا نوع واحد

أكثر ما يفيد في الورقة هو تقسيم الثقة إلى فئتين. والتمييز مهم لأن الفئتين تفشلان بطرق مختلفة جدًا، ولأن الخلط بينهما يخفي موضع المشكلات الحقيقية.

الثقة التشغيلية

تتعلق الثقة التشغيلية بما إذا كان النظام يفعل ما يدّعي أنه يفعله، بشكل موثوق، في البيئة التي يُنشر فيها فعليًا. هل يستطيع الوصول إلى مصادر البيانات الصحيحة؟ هل يفشل بأمان عندما يكون سجل مفقودًا، أو تنتهي مهلة استعلام، أو تتغير واجهة؟ هل يتدهور بطرق يمكن للمشرف البشري رؤيتها، أم يُنتج بهدوء هراءً واثقًا؟ تبدو هذه أسئلة هندسية، لكنها في بيئة سريرية تحمل ثقلًا سريريًا. فالنظام الذي يفقد نتيجة مخبرية بصمت ليس مجرد نظام معطوب؛ بل قد يكون ضارًا.

الثقة الاتخاذية

الثقة الاتخاذية أضيق نطاقًا وأصعب إثباتًا. وهي تتعلق بما إذا كانت الأحكام التي يصدرها النظام — أي إجراء يتخذه، وبأي تسلسل، والأهم من ذلك، متى يتوقف — تستحق الاعتماد عليها. فقد يكون النظام مثاليًا تشغيليًا ومع ذلك يتخذ قرارات يرفضها الطبيب جملةً وتفصيلًا. وبالمقابل، قد يكون نظام ذو بنية تقنية هشة قادرًا على الاستدلال الجيد داخل نطاق ضيق لا يحدث فيه أي خلل. والتعامل مع هذين الأمرين كمتغير واحد، كما تفعل كثير من النقاشات الحالية، يحجب حقيقة أن إصلاح أحدهما لا يفعل شيئًا للآخر.

لماذا تغيّر الاستقلالية حساب المخاطر

تقع أداة الذكاء الاصطناعي السريرية التقليدية داخل سير عمل وتنتظر. تجيب عن سؤال ثم تُراجَع الإجابة. أما الأنظمة الوكيلية فتفعل شيئًا مختلفًا: فهي تحمل خيطًا متصلًا. تتخذ خيارات وسيطة، بعضها ذو عواقب، وتتراكم هذه الخيارات. وقد لا يرى الشخص المسؤول اسميًا سوى الملخص في النهاية.

هذا التراكم هو ما يجعل مسألة الثقة عاجلة لا فلسفية. فكل خطوة إضافية يخطوها النظام دون نقطة تفتيش تضاعف عدد المواضع التي يمكن أن يدخل منها خطأ وعدد القرارات اللاحقة التي ترثه. والإشراف البشري الذي يصلح لتنبؤ واحد لا يتوسع تلقائيًا ليشمل سلسلة من عشر خطوات تُتخذ خلال فترة بعد الظهر.

وتزيد الرعاية الصحية حدة هذا لأن المجال غير متسامح بشكل غير معتاد مع أنماط الفشل التي تُظهرها الأنظمة الوكيلية بأسرع ما يمكن: الثقة المفرطة، والاختلاق المقنع، وصعوبة إدراك حدود كفاءتها. روبوت محادثة يختلق مرجعًا أمر محرج. أما نظام يختلق تفاعلًا دوائيًا ويتصرف بناءً عليه فهو شيء آخر تمامًا.

الحلقات المفقودة

إذا كانت حجة الورقة أن الاستقلالية تتطلب أكثر من القدرة، فالسؤال التالي الطبيعي هو ما الغائب فعليًا. وتتكرر عدة فجوات عبر المساحة التي تغطيها الورقة.

• تقييم يطابق المهمة. تقيس المعايير الثابتة إجابات فردية، لا تسلسلات من القرارات. ولا توجد ممارسة ناضجة لتقييم ما إذا كانت خطة الوكيل معقولة، بل فقط ما إذا كانت مخرجاته النهائية مطابقة لمرجع.
• قابلية تدقيق الاستدلال. عندما يتخذ النظام إجراءً، يكون سجل سبب قيامه بذلك غالبًا ضعيفًا أو مُعاد بناؤه بعد وقوع الحدث. وبدون آثار موثوقة، يصبح الإشراف مسرحية.
• تصعيد محدد بوضوح. تحتاج الأنظمة الوكيلية إلى نقاط واضحة وموثوقة تعيد فيها السيطرة إلى إنسان. فكثرة عمليات التسليم تجعل النظام عديم الفائدة؛ وقلّتها تجعله خطيرًا، والعتبة الصحيحة تعتمد على السياق.
• حوكمة تستبق الاستقلالية. الأطر التنظيمية المبنية حول الأجهزة والتشخيصات لا تنطبق بسلاسة على أنظمة يتغير سلوكها مع كل سياق نشر.
• تعريفات مشتركة. بدون مفردات متفق عليها لما يُعد ثقة تشغيلية مقابل اتخاذية، لا تستطيع المؤسسات مقارنة ملاحظاتها، وكل عملية نشر تعيد اختراع معاييرها الخاصة بمعزل عن غيرها.

كيف ستبدو الاستقلالية المكتسبة فعليًا

الوصفة الضمنية للورقة هي أن الاستقلالية ينبغي أن تُمنح تدريجيًا وبشكل مُثبت بالأدلة، لا أن تُفترض من درجات المعايير. وهذا يستلزم مجموعة صارمة إلى حد ما من العادات المؤسسية.

• عمليات نشر تبدأ بإجراءات ضيقة قابلة للعكس وتوسع النطاق فقط مع تراكم الأدلة.
• مراقبة تتبع جودة القرار بمرور الوقت، لا مجرد وقت التشغيل وزمن الاستجابة.
• مساءلة واضحة: إنسان أو لجنة محددة بالاسم تكون مسؤولة عند تسبب إجراء آلي في ضرر.
• توثيق صارم بما يكفي لتمكين مراجع مستقل من إعادة بناء ما حدث ولماذا.

لا شيء من هذا براق. إنه النسيج الضام الذي يحول نظامًا قادرًا إلى نظام موثوق، وهو بالضبط الطبقة التي يُتخطى غالبًا عندما يكون النموذج الأساسي مبهرًا بما يكفي لتوليد الحماس.

الاستنتاج غير المريح

أكثر ما يثير التحدي في ورقة Nature Medicine هو أن الحلقات المفقودة في استقلالية الذكاء الاصطناعي الوكيلي قد لا تكون تقنية على الإطلاق. فالنماذج الأفضل ستجعل الثقة التشغيلية أسهل تحقيقًا — أسرع، وأكثر موثوقية، وأقل هشاشة. لكن الثقة الاتخاذية تعتمد على أسئلة لا تحلها أي بنية معمارية: من المسؤول، وما يُعد مخاطرة مقبولة، وكم يكفي من الإشراف، ومن يحق له أن يقرر.

هذه أسئلة مؤسسية وسريرية، ولدى الرعاية الصحية عقود من الخبرة المكتسبة بصعوبة في الإجابة عنها للممارسين البشر. والعمل المقبل هو توسيع تلك الخبرة لتشمل أنظمة تتخذ إجراءات بدلًا من أن تجيب فقط. وإلى أن يحدث ذلك، فإن الوصف الصادق لمعظم الذكاء الاصطناعي الوكيلي في الطب ليس مستقلًا. بل غير خاضع للإشراف، وهو أمر مختلف تمامًا.

هذا المقال مبني على تقرير لـ Nature Medicine. اقرأ المقال الأصلي.