النقاش حول معايير الذكاء الاصطناعي في البيئات السريرية
يضرب رد منشور حديثًا في Nature Medicine صميم كيفية مقارنة أنظمة الذكاء الاصطناعي في الطب. يرد الرد على نقد يدعي أن "المعايير المحدودة تقيد استنتاجات مقارنة بين الذكاء الاصطناعي العام والسريري". مع تزايد استخدام كل من النماذج التحادثية الواسعة والذكاء الاصطناعي السريري المدرب بشكل ضيق، يشير الخلاف إلى حاجة علمية ملحة لأطر تقييم أكثر قوة.
المراسلات العلمية هي آلية قياسية لتحسين الأدلة، وهذا التبادل بالذات مهم لأنه يعالج سؤالًا سيؤثر على ملايين المرضى: هل يجب على المستشفيات نشر مساعدي الذكاء الاصطناعي العامة أم نماذج الذكاء الاصطناعي السريرية المتخصصة، عندما يدعي كلاهما دعم الأطباء؟ يدافع مؤلفو الرد عن تحليلهم الأصلي مع الاعتراف بأن اختيار المعايير يشكل النتائج حتمًا.
الذكاء الاصطناعي العام مقابل الذكاء الاصطناعي السريري: ما الذي تمت مقارنته؟
أنظمة الذكاء الاصطناعي العامة، بما في ذلك نماذج اللغة الكبيرة المدربة على مجموعات نصية بحجم الإنترنت، تعد بدعم مرن لمختلف الاستفسارات الطبية. يمكنها تلخيص تاريخ المريض، أو صياغة خطابات الخروج، أو الإجابة على أسئلة الامتحانات الطبية بطلاقة مذهلة. من ناحية أخرى، يتم تطوير نماذج الذكاء الاصطناعي السريري والتحقق من صحتها باستخدام بيانات طبية، وغالبًا ما تكون لديها موافقات تنظيمية محددة لمهام مثل اكتشاف اعتلال الشبكية السكري، أو تفسير الأشعة السينية للصدر، أو توجيه علاج الإنتان.
تهدف الدراسات المقارنة إلى تحديد ما إذا كانت راحة نموذج متعدد الأغراض واحد تفوق الدقة الأعلى المحتملة لنظام خاص بمهمة معينة. حاول البحث الأصلي الإجابة على ذلك عن طريق اختيار مجموعة من المهام الموجهة للمستخدم وقياس أداء كلا النوعين من النماذج على نفس المدخلات.
لماذا وُصفت المعايير بأنها "محدودة"
وفقًا للتعليق الذي دفع إلى الرد الجديد، استمدت معايير الدراسة الأصلية من عدد صغير من مجموعات البيانات الطبية وقد لا تمثل اتساع اللقاءات السريرية في العالم الحقيقي. خشي مؤلفو التعليق من أن عددًا قليلاً من الاختبارات المستخدمة بكثرة قد يحجب قيود النموذج في التخصصات الطبية الأخرى - أو يكافئ عن غير قصد نموذجًا أدى جيدًا في مجموعة بيانات واحدة بينما فشل في أخرى.
قيود المعايير مهمة لعدة أسباب. أولاً، أداء النموذج على مجموعة بيانات ليس هو نفسه أداؤه في العيادة. العوامل البشرية، وتحولات توزيع البيانات، والضوضاء، ومزيج الحالات كلها تغير الصورة. ثانيًا، العديد من المعايير العامة مشبعة - يمكن للنماذج الحديثة تجاوزها، مما لا يترك مجالًا كبيرًا لفصل الأفضل عن المقبول فقط. ثالثًا، يمكن أن يؤدي القياس المتناثر إلى الثقة المفرطة في النماذج العامة التي ليست "ذكية عمومًا" حقًا بالمعنى السريري.
ماذا يجادل الرد في المقابل؟
في ردهم المنشور، يقف الباحثون إلى جانب الاستنتاج المركزي بأن المقارنة الدقيقة بين فئات النماذج يمكن أن تكون مفيدة. يلاحظون أنه على الرغم من عدم شمول أي مجموعة معايير، فإن مجموعة مختارة بشكل صحيح من المهام يمكن أن تكشف عن اختلافات ومفاضلات ذات مغزى. المعيار الذي يُظهر نموذجًا سريريًا يهيمن على ثلاث مهام ضيقة، على سبيل المثال، لا يخبرنا بما سيحدث لسؤال مفتوح، تمامًا كما أن فوز نموذج عام في اختبار معلومات عامة لا يثبت أنه جاهز لقسم الطوارئ.
يؤكد الرد أن الهدف لم يكن تتويج فائز شامل بل رسم خريطة نقاط القوة والضعف لكل نهج. عندما يضعف أداء نموذج عام في المهام التي تتطلب معرفة خاصة بالمجال، فهذه إشارة مفيدة للمطورين. عندما يفشل نموذج سريري في الإجابة على أسئلة أكثر عمومية، فإن ذلك أيضًا ذو قيمة لأولويات التدريب المستقبلية.
ما وراء معركة المعايير
يكمن الرنين الأعمق لهذا التبادل في الجهد العلمي الأوسع للتحقق من صحة الذكاء الاصطناعي للصحة. هناك اعتراف متزايد بأنه لا توجد نتيجة واحدة، مهما كانت ذات دلالة إحصائية، يمكنها إثبات أن النموذج آمن وموثوق في جميع السياقات. يجب أن تكون الأدلة تراكمية. تتطلب المقارنات طبقات متعددة من التقييم، بما في ذلك الدقة والعدالة وقابلية التفسير والمتانة ضد تحولات التوزيع والتأثيرات على سير العمل السريري والنتائج.
يدفع رد المؤلفين المجتمع إلى الأمام من خلال التأكيد على أن تأطير "الذكاء الاصطناعي السريري مقابل الذكاء الاصطناعي العام" لا ينبغي التعامل معه كمقايضة إما/أو. يمكن بدلاً من ذلك النظر إلى تطوير النظام كسلسلة متصلة، حيث يتعاون النموذج العام والمتخصص: نموذج لغة كبير يتعامل مع الفروق الدقيقة في المحادثة بينما يقرأ نموذج رؤية عميق متخصص الصور بكسل ببكسل.
النتيجة لصناع القرار في الرعاية الصحية
قد تتساءل مؤسسات الرعاية الصحية التي تقرأ الورقة الأصلية والمراسلات اللاحقة عن الإجراء الذي يجب اتخاذه. الدرس هو اعتماد عقلية قائمة على الأدلة أولاً. من الضروري فحص مهام المعيار الدقيقة، والتركيبة السكانية للمرضى، وجودة التسميات، ومدى التحقق الخارجي قبل دمج أي نموذج في مسار سريري.
بدأ المنظمون في مراقبة هذه الأنواع من المقارنات بعناية. تتبنى إدارة الغذاء والدواء الأمريكية بشكل متزايد فكرة "خطة مراقبة التغيير المحددة مسبقًا" للبرامج التي تتعلم، لكنها لا تزال تفتقر إلى مجموعة معايير موحدة عبر البائعين للذكاء الاصطناعي الطبي. في أوروبا، تتطلب لائحة الأجهزة الطبية تقييمًا سريريًا قويًا للبرامج التي قد تشكل خطرًا على الصحة. إطار واضح ومشترك لمعايير الذكاء الاصطناعي من شأنه أن يساعد جميع أصحاب المصلحة.
كيفية بناء معايير أفضل
إذن ما الذي قد يبدو عليه المعيار الأفضل؟ أولاً وقبل كل شيء، يجب أن يتضمن حالات من مستشفيات متعددة ومناطق جغرافية وخلفيات اجتماعية واقتصادية ليعكس تنوع رعاية المرضى. ثانيًا، يجب أن يختبر بشكل منفصل المعرفة الأساسية والاستدلال الطبي والسلامة والقدرة على طلب التوضيح. ثالثًا، يجب تحديثه باستمرار مع تطور قدرات الذكاء الاصطناعي والممارسة السريرية.
في الإعداد المثالي، ستكون مهام المعيار ديناميكية وعدائية، مما يعني أن الباحثين يحاولون على وجه التحديد العثور على نقاط ضعف في النماذج. هذا من شأنه أن يمنع النماذج من الإفراط في التكيف مع مجموعات الاختبار الثابتة، وهي مشكلة لا مفر منها عندما يكون المعيار الموحد متاحًا للجمهور لسنوات. ومع ذلك، فإن بناء وصيانة مثل هذه المعايير يتطلب تمويلًا وتعاونًا بين مطوري الذكاء الاصطناعي والجمعيات السريرية وسلطات الصحة - وهو هدف لا يزال يبدو بعيدًا.
القيمة العلمية للمراسلات المنشورة
يذكرنا التبادل الأخير في Nature Medicine أيضًا بأن العلم يتقدم من خلال النقد والردود والتصحيح. نشر النتائج الأصلية ليس نهاية الرحلة؛ إنه افتتاح لتدقيق المجتمع العلمي. حقيقة أن القراء يتعاملون مع قيود المعايير تظهر الطلب على أعلى مستوى من الأدلة.
في هذه الحالة بالذات، لا يهدف الرد إلى إغلاق المحادثة. بدلاً من ذلك، يوضح الخيارات التي اتخذت خلال المقارنة الأولية ويدعو إلى مزيد من العمل الذي يمكن أن ينتج استنتاجات أكثر قابلية للتعميم. هذا التبادل المفتوح يعزز شرعية كلتا الدراستين ويدعم اتخاذ القرار السريري المستنير.
ما التالي
لمطوري الذكاء الاصطناعي العام والسريري على حد سواء، الدرس هو أن التقارير الشفافة والتقييم القوي سيفصلان الأدوات الموثوقة عن النماذج الأولية التجريبية. للباحثين، تشير المراسلات إلى جدول أعمال غني من الأسئلة: أي المعايير يجب أن تكون موثوقة في تخصص معين؟ كيف يمكن مواءمة المعايير عبر اللغات والأنظمة الصحية؟ كيف يجب تضمين التحيز المحتمل في تصميم المعيار؟
مؤلفو الرد محقون في الجدال بأن المعيار المحدود ليس مؤهلاً تلقائيًا لإبطال أي استنتاج. لكن تبادلهم يثبت أيضًا لماذا تستحق قيود المعيار اعترافًا صريحًا في كل منشور. مع توسع استخدام الذكاء الاصطناعي في الطب، سنحتاج إلى المزيد من هذه التبادلات - شاملة وصادقة وموجهة بالهدف المشترك لسلامة المرضى.
تستند هذه المقالة إلى تقارير من Nature Medicine. اقرأ المقال الأصلي.
Originally published on nature.com
