تقلل التنبيهات المتعلقة بالسلامة الخيارات الضارة للذكاء الاصطناعي السريري

أظهرت دراسة أجراها باحثون في Icahn School of Medicine at Mount Sinai أن صياغة الطلب قد تؤثر بشكل كبير في سلامة القرارات المدعومة بالذكاء الاصطناعي.

ووجد البحث المنشور في Communications Medicine أن إضافة تذكير قصير بالسلامة خفضت نسبة الخيارات السريرية التي قد تكون ضارة. ولا يثبت ذلك أن التذكير يجعل النموذج آمناً للاستخدام الطبي المستقل، لكنه يؤكد أهمية التعليمات والسياق في تصميم أنظمة الذكاء الاصطناعي السريري.

تغير قابل للقياس في اختيارات سريرية محاكاة

قيّم الفريق 20 نموذجاً لغوياً كبيراً عبر 501 نسخة من 50 سيناريو سريرياً، إضافة إلى 100 حالة مقتبسة من سجلات خروج مرضى منزوعة الهوية. وحُللت أكثر من 10 ملايين استجابة.

حدد الباحثون نحو 1.18 مليون خيار سريري يحتمل أن يكون ضاراً. ومثلت هذه الخيارات 16.6% من الاستجابات من دون تذكير، وانخفضت إلى 10.1% مع التذكير.

انخفضت الخيارات الضارة المحتملة في 19 نموذجاً من أصل 20.

لماذا يهم السياق

لا يتعلق الاكتشاف الأساسي بعبارة واحدة، بل بالظروف التي يتلقى فيها النظام الطلب. فقد تؤثر اللغة والتأطير والسياق في المخرجات، خصوصاً عندما يتعارض الطلب مع سلامة المريض.

المساعد السريري ليس النموذج وحده؛ بل يشمل أيضاً سير العمل الذي يقدم معلومات المريض ويعرض الخيارات ويحدد الأدوار ويضيف التحذيرات ويقرر ما إذا كان إنسان سيراجع التوصية.

اختبار الطلب وليس الإجابة فقط

تركز تقييمات الذكاء الاصطناعي الصحي عادة على دقة المعلومات. ويضيف هذا العمل بعداً آخر: هل يواصل النموذج إعطاء الأولوية لسلامة المريض عندما يدفعه الطلب في اتجاه آخر؟

وتشير النتائج إلى ضرورة اختبار استراتيجية التوجيه إلى جانب الدقة والموثوقية ومقاييس الأداء الأخرى.

ما الذي تثبته النتائج وما لا تثبته

يمكن للتعليمات القصيرة الموجهة للسلامة أن تقلل الخيارات الضارة في السيناريوهات المدروسة. لكنها لا تثبت أن النماذج تستطيع اتخاذ قرارات سريرية مستقلة أو أن الانخفاض نفسه سيحدث في كل مستشفى أو تخصص أو منتج.

ينبغي التحقق من التنبيهات في البيئة المحددة وتقييمها مع الإشراف السريري ووسائل الحماية الأخرى.

اعتبار تصميمي للذكاء الاصطناعي السريري

ينبغي أن تكون لغة السلامة جزءاً قابلاً للاختبار من المنتج، لا إضافة لاحقة. وتظهر الدراسة أن التذكير القصير لا يحل كل المشكلات، لكنه قد يدفع سلوك النموذج في اتجاه أكثر أماناً.

يستند هذا المقال إلى تقرير من Medical Xpress. اقرأ المقال الأصلي.