Eine Studie von Forschern der Icahn School of Medicine at Mount Sinai zeigt, dass die Formulierung einer Anfrage die Sicherheit KI-gestützter klinischer Entscheidungen deutlich beeinflussen kann.
Die in Communications Medicine veröffentlichte Untersuchung ergab, dass ein kurzer Sicherheitshinweis den Anteil potenziell schädlicher klinischer Entscheidungen verringerte. Das bedeutet nicht, dass ein Hinweis ein Modell für autonome medizinische Nutzung sicher macht. Es zeigt jedoch, dass Anweisungen und Kontext wichtige Bestandteile klinischer KI-Systeme sind.
Messbare Veränderung in simulierten Entscheidungen
Das Team prüfte 20 große Sprachmodelle in 501 Varianten von 50 klinischen Szenarien sowie 100 Fällen aus anonymisierten Krankenhausentlassungsdaten. Insgesamt wurden mehr als 10 Millionen Antworten analysiert.
Die Forscher fanden rund 1,18 Millionen potenziell schädliche Entscheidungen. Ohne Sicherheitshinweis machten sie 16,6 % der Antworten aus; mit Hinweis sank der Anteil auf 10,1 %.
In 19 der 20 getesteten Modelle gingen die potenziell schädlichen Entscheidungen zurück.
Warum Kontext wichtig ist
Die zentrale Erkenntnis betrifft weniger einen bestimmten Satz als die Bedingungen, unter denen ein System eine Anfrage erhält. Sprache, Rahmung und Kontext können die Antworten beeinflussen, besonders wenn eine Anweisung der Patientensicherheit widerspricht.
Ein klinischer Assistent besteht nicht nur aus dem zugrunde liegenden Modell, sondern auch aus dem Arbeitsablauf, der Patientendaten liefert, Optionen darstellt, Rollen definiert, Warnungen ergänzt und eine menschliche Prüfung vorsieht.
Die Anfrage prüfen, nicht nur die Antwort
Bewertungen medizinischer KI konzentrieren sich häufig darauf, ob ein Modell korrekte Informationen liefert. Diese Arbeit ergänzt die Frage, ob das Modell die Patientensicherheit weiterhin priorisiert, wenn die Anfrage in eine andere Richtung drängt.
Die Ergebnisse sprechen dafür, Prompt-Strategien zusammen mit Genauigkeit, Zuverlässigkeit und anderen Leistungsmaßen zu testen.
Was die Ergebnisse zeigen und was nicht
Kurze sicherheitsorientierte Anweisungen können in den untersuchten Szenarien schädliche Entscheidungen reduzieren. Sie zeigen jedoch nicht, dass Sprachmodelle selbstständig klinische Entscheidungen treffen können oder dass derselbe Rückgang in jedem Krankenhaus, Fachgebiet oder Produkt eintritt.
Die Hinweise müssen in der jeweiligen Umgebung validiert und mit klinischer Aufsicht sowie anderen Schutzmaßnahmen bewertet werden.
Eine Designfrage für klinische KI
Sicherheitssprache sollte ein prüfbarer Bestandteil des Produkts sein und nicht erst nachträglich ergänzt werden. Die Studie zeigt, dass ein kurzer Hinweis nicht jedes Problem löst, das Modellverhalten aber in eine sicherere Richtung bewegen kann.
Dieser Artikel basiert auf einer Berichterstattung von Medical Xpress. Originalartikel lesen.
Originally published on medicalxpress.com
