AIが心理健康キューを管理する場合

Kaiser Permanenteのセラピストがストライキをしており、彼らの中心的な不満の中に、臨床スタッフが危険な間違いを犯していると言う新しいAI駆動患者スクリーニングおよびルーティングシステムがあります。複数のKaiser施設のセラピストは、システムが自殺念慮または急性精神保健危機を呈する患者を、臨床判断が示唆するよりも低い優先度として誤って分類し、複数の患者がアルゴリズムルーティング決定の直接の結果として深刻な危害に近づいたと主張しています。Kaiserはこのシステムを擁護していますが、セラピストの説明は、エラーが取り返しのつかない結果をもたらす可能性があるコンテキストでAIが展開されている不安な画像を描いています。

AIスクリーニングシステムの仕組み

精神保健設定における患者スクリーニングは従来、標準化された質問票—うつ病のためのPHQ-9またはコロンビア自殺重大度評価スケールなどの道具—を臨床インタビューと組み合わせて、患者の精神保健ニーズの緊急性と性質を評価するために使用します。KaiserのAIシステムは明らかにこのプロセスの一部を増強またはある場合には置き換え、入院質問票への回答、患者病歴データ、および行動信号を使用してリスクスコアおよびルーティングレコメンデーションを生成し、患者がどの速度で見られるか、およびどの種類のプロバイダーによって見られるかを決定します。

原則として、AIが支援するスクリーニングは、人間の入院評価に内在する一貫性と可変性を減らすことができます。忙しい日に入院スタッフが圧倒されている場合に提示する患者は、理想的な条件下で提示される患者と同じアルゴリズム評価を受け取ります。このシステムは、忙しい人間スクリーナーが見逃す可能性のある患者履歴のリスク要因を特定することもできます。

セラピストが報告していることは

セラピストの説明は、反対の方向で失敗しているシステムについて説明しています。複数の臨床医は、入院質問票で自殺念慮を表現した患者が緊急スロットではなくルーチン予約に割り当てられた場合を報告しており、これはAIシステムが患者の履歴の他の要因—前の安定した評価など—を現在の入院における急性危機指標よりも強く重み付けしたためです。

紛争のメディアカバレッジ全体で共鳴している言葉は「神に感謝彼らはまだ生きています」です—誤って低優先度のルーティングに従った待機期間を通り抜けた患者を説明するセラピストが使用する表現。患者がシステムの直接の結果として深刻な危害を実際に受けたかどうかは依然として争点です。Kaiserは、システムが確立された臨床安全パラメータ内で動作することを主張していますが、セラピストは、彼らが観察した接近事故は、これらのパラメータが不十分であることを示していると述べています。

高リスク分類におけるアルゴリズム平均化のリスク

この紛争における中心的な緊張は、臨床分類への機械学習の適用に関するより広い問題を反映しています。AIシステムは歴史的データに対して訓練され、訓練分布全体の平均パフォーマンスに対して最適化されます。精神保健スクリーニングでは、安全性の観点から最も重要な患者は、正確には異常値である個人です—その現在の危機提示が歴史的ベースラインと大きく異なる個人、または訓練されたクリニシャンが警告信号として認識するが、テキストベースのAIシステムは文字通り解釈する可能性のある最小化言語を使用する個人。

臨床直感—セラピストのトーン、体言語、躊躇、文脈の読み—質問票の回答が持たない情報をキャプチャします。主に質問票データと歴史的記録に依存するスクリーニングシステムは、真の緊急事態をルーチン予約から区別する信号を組織的に過小評価する可能性があります。患者の生活が危機に瀕している場合、危機信号の組織的過小評価は、許容できない失敗モードです。

臨床設定におけるAIの幅広い影響

Kaiser Permanenteは、患者ルーティングとリソース割り当てを管理するためにAIを展開する唯一の医療システムではありません。米国全体の医療システムは、プロバイダーの不足が継続的なアクセスの問題を作成するシステムの効率向上の約束に引き付けられて、同様のツールを実装しています。精神保健医療は特に深刻な容量制約に直面しており、AI支援分類の訴求力を特に強く—かつ潜在的な結果の重大性を考えると、アルゴリズムエラーのリスクを特に高くしています。

Kaiserの紛争は、精神保健コンテキストにおけるAIスクリーニングツールの検証および監視要件に他の医療システムがどのようにアプローチするかに影響を与える可能性が高いです。規制当局、臨床専門機関、および医療システム管理者はすべて、これがどのように展開されるかを見守っており、大規模に展開されたAI分類ツールが精神保健医療へのアクセスを大幅に改善するか、または適切な臨床監視なしに展開された場合、これらの利点を上回る体系的なリスクを生じさせる可能性があることを認識しており、エラー検出メカニズムがあります。

この記事はThe Guardianのレポートに基づいています。元の記事を読む。