Wenn KI die Warteschlange für psychische Gesundheit verwaltet
Die Therapeuten der Kaiser Permanente befinden sich im Streik, und ein zentrales Anliegen ist ein neues KI-gesteuertes Patientenbewertungs- und Routingsystem, das nach Aussage des klinischen Personals gefährliche Fehler macht. Therapeuten in mehreren Kaiser-Einrichtungen behaupten, dass das System Patienten, die suizidale Gedanken oder akute psychische Krisen zeigen, fälschlicherweise als weniger prioritär einstuft, als es klinische Urteile andeuten würden, und dass mehrere Patienten aufgrund algorithmischer Routingentscheidungen ernsthafte Schäden fast erlitten haben. Kaiser hat sich für das System verteidigt, aber die Berichte der Therapeuten zeichnen ein beunruhigendes Bild von KI, die in einem Kontext eingesetzt wird, wo Fehler irreversible Folgen haben können.
Wie das KI-Screening-System funktioniert
Die Patientenbewertung in der psychischen Gesundheitsfürsorge basiert traditionell auf standardisierten Fragebögen – Werkzeugen wie dem PHQ-9 für Depression oder der Columbia Suicide Severity Rating Scale – kombiniert mit klinischen Interviews, um die Dringlichkeit und Art der psychischen Gesundheitsbedürfnisse eines Patienten zu bewerten. Das KI-System der Kaiser erweitert dem Bericht nach oder ersetzt in einigen Fällen Teile dieses Prozesses, wobei es Antworten auf Aufnahmefragebogen, Patientenhistoriendaten und Verhaltensignale nutzt, um einen Risikoscore und eine Routingempfehlung zu generieren, die bestimmt, wie schnell der Patient gesehen wird und von welcher Art von Anbieter.
Grundsätzlich könnte KI-gestützte Bewertung die Konsistenz verbessern und die inhärente Variabilität menschlicher Aufnahmebewertungen verringern. Ein Patient, der an einem geschäftigen Tag kommt, wenn das Aufnahmepersonal überfordert ist, würde die gleiche algorithmische Bewertung erhalten wie einer, der unter idealen Bedingungen kommt. Das System könnte auch Risikofaktoren in der Patientengeschichte identifizieren, die ein beschäftigter menschlicher Screener übersehen könnte.
Was Therapeuten melden
Die Berichte der Therapeuten beschreiben ein System, das in die entgegengesetzte Richtung versagt. Mehrere Kliniker berichten von Fällen, in denen Patienten, die in ihren Aufnahmefragebogen suizidale Gedanken ausdrückten, Routinetermine statt dringender Termine erhielten, weil das KI-System andere Faktoren in der Patientengeschichte – wie frühere stabile Bewertungen – stärker gewichtete als die akuten Krisenindikatoren in der aktuellen Aufnahme.
Der Satz, der durch die Medienberichterstattung über den Streit widergeklungen hat, ist „Gott sei Dank, sie leben noch" – eine Formulierung, die von Therapeuten verwendet wird, um Patienten zu beschreiben, die den Wartezeitraum, der auf ein inkorrekt niedriges Routing folgte, überstanden haben. Ob ein Patient tatsächlich ernsthaften Schaden direkt aufgrund des Systems erlitt, bleibt umstritten; Kaiser behauptet, dass das System innerhalb etablierter klinischer Sicherheitsparameter funktioniert, während Therapeuten sagen, dass die Beinahe-Unfälle, die sie beobachtet haben, darauf hindeuten, dass diese Parameter unzureichend sind.
Das Risiko der algorithmischen Mittelwertbildung bei hochriskantem Triage
Die Kernspannung in diesem Streit widerspiegelt ein breiteres Problem bei der Anwendung von maschinellem Lernen auf klinisches Triage. KI-Systeme werden auf historischen Daten trainiert und optimieren für durchschnittliche Leistung über die Trainingsverteilung. Bei der Screening auf psychische Gesundheit sind die Patienten, die aus Sicherheitssicht am wichtigsten sind, genau diejenigen, die Ausreißer sind – Personen, deren aktuelle Krisenpräsentation sich erheblich von ihrem historischen Ausgangswert unterscheidet, oder die minimalisierende Sprache auf Weise verwenden, die ausgebildete Kliniker als Warnsignal erkennen, aber die textbasierte KI-Systeme möglicherweise buchstäblich interpretieren.
Klinische Intuition – die Therapeuteninterpretation von Ton, Körpersprache, Zögern und Kontext – erfasst Informationen, die Fragebogenantworten nicht liefern. Ein Screening-System, das sich hauptsächlich auf Fragebogendaten und historische Aufzeichnungen verlässt, kann systematisch genau die Signale untergewichten, die einen echten Notfall von einem Routinetermin unterscheiden. Wenn die Einsätze das Leben eines Patienten sind, ist systematische Untergewichtung von Krisenignalen genau der Fehlermodus, der nicht zu tolerieren ist.
Breitere Implikationen für KI in klinischen Umgebungen
Kaiser Permanente ist nicht allein beim Einsatz von KI zur Verwaltung von Patientenrouting und Ressourcenallokation. Gesundheitssysteme in den gesamten Vereinigten Staaten implementieren ähnliche Werkzeuge, angezogen von dem Versprechen verbesserter Effizienz in Systemen, in denen Anbietermangel persistent Zugriffsprobleme schafft. Psychische Gesundheitsfürsorge sieht sich besonders schweren Kapazitätsbeschränkungen gegenüber, was die Attraktivität von KI-gestütztem Triage besonders stark macht – und die Risiken algorithmischer Fehler besonders hoch angesichts der Schwere möglicher Ergebnisse.
Der Kaiser-Streit wird wahrscheinlich beeinflussen, wie andere Gesundheitssysteme Validierungs- und Aufsichtsanforderungen für KI-Screening-Werkzeuge in psychischen Gesundheitskontexten angehen. Regulatoren, klinische Fachgremien und Gesundheitssystemadministratoren beobachten alle, wie sich dies entwickelt, in dem Bewusstsein, dass KI-Triage-Werkzeuge, die in großem Maßstab eingesetzt werden, entweder den Zugang zu psychischer Gesundheitsfürsorge erheblich verbessern oder systemische Risiken schaffen könnten, die diese Vorteile übersteigen, wenn sie ohne angemessene klinische Aufsicht und Fehlererkenungsmechanismen eingesetzt werden.
Dieser Artikel basiert auf Berichterstattung durch The Guardian. Lesen Sie den Originalartikel.
