Icahn School of Medicine at Mount Sinaiの研究者による研究は、依頼文の書き方がAI支援による臨床判断の安全性に大きく影響し得ることを示した。
Communications Medicineに掲載された研究では、短い安全リマインダーを加えると、AIモデルが行う潜在的に有害な臨床選択の割合が低下した。これは、プロンプトだけでモデルが自律的な医療利用に安全になることを示すものではないが、指示と文脈が臨床AIシステム設計の重要な要素であることを示している。
模擬臨床判断で測定された変化
研究チームは20の大規模言語モデルを、50の臨床シナリオの501種類のバリエーションで評価し、匿名化された退院記録から作成した100例も使用した。分析した回答は1000万件を超えた。
潜在的に有害な選択は約118万件だった。安全リマインダーがない場合は回答の16.6%を占め、短いリマインダーを加えると10.1%に低下した。
20モデル中19モデルで潜在的に有害な選択が減少した。
なぜ文脈が重要なのか
中心的な発見は特定の一文よりも、AIがどのような条件で依頼を受けるかに関係する。言語、枠組み、文脈は出力に影響し、患者の安全と指示が衝突する場合には特に重要になる。
臨床アシスタントは基盤モデルだけでなく、患者情報の提供、選択肢の提示、役割の定義、警告の追加、人間による確認の有無を決めるワークフローも含む。
回答だけでなく依頼を検証する
医療AIの評価は、正確な情報を出せるかに焦点を置きがちだ。この研究は、依頼自体が別の方向へ誘導したときも、患者の安全を優先できるかという側面を加えた。
プロンプト戦略は、モデルの正確性や信頼性などとともに検証すべきだと研究は示唆している。
結果が示すことと示さないこと
安全志向の短い指示は、研究対象のシナリオで有害な選択を減らせる。ただし、言語モデルが独立して臨床判断を行えることや、すべての病院・専門領域・製品で同じ低下が起きることを示すものではない。
リマインダーは実際の環境で検証し、臨床監督など他の安全策とともに評価する必要がある。
臨床AIの設計上の考慮点
安全に関する言葉は、後から付け足す警告ではなく、検証可能な製品要素として扱うべきだ。短いリマインダーだけですべての問題は解決しないが、モデルの挙動をより安全な方向へ動かせる可能性がある。
この記事はMedical Xpressの報道に基づく。原記事を読む。
Originally published on medicalxpress.com