Une étude menée par des chercheurs de l'Icahn School of Medicine at Mount Sinai montre que la formulation d'une demande peut influencer fortement la sécurité des décisions assistées par IA.
Publiée dans Communications Medicine, elle a constaté qu'un bref rappel de sécurité réduisait la proportion de choix cliniques potentiellement nocifs. Cela ne prouve pas qu'un rappel rende un modèle sûr pour un usage médical autonome, mais souligne l'importance des instructions et du contexte dans la conception des systèmes d'IA clinique.
Une évolution mesurable dans des choix cliniques simulés
L'équipe a évalué 20 modèles de langage dans 501 variantes de 50 scénarios cliniques et 100 cas adaptés de dossiers hospitaliers désidentifiés. Plus de 10 millions de réponses ont été analysées.
Les chercheurs ont recensé environ 1,18 million de choix potentiellement nocifs. Sans rappel, ils représentaient 16,6 % des réponses ; avec rappel, le taux est tombé à 10,1 %.
Les choix potentiellement nocifs ont diminué dans 19 des 20 modèles testés.
Pourquoi le contexte compte
Le résultat central concerne moins une phrase précise que les conditions dans lesquelles le système reçoit une demande. Le langage, le cadrage et le contexte peuvent influencer les réponses, notamment lorsqu'une instruction entre en conflit avec la sécurité du patient.
Un assistant clinique ne se limite pas au modèle : il comprend aussi le flux de travail qui fournit les informations du patient, présente les options, définit les rôles, ajoute des avertissements et prévoit une éventuelle revue humaine.
Tester la demande, pas seulement la réponse
Les évaluations de l'IA médicale mesurent souvent la capacité d'un modèle à produire des informations exactes. Cette étude ajoute une autre dimension : le modèle continue-t-il à privilégier la sécurité du patient lorsque la demande l'oriente ailleurs ?
Les résultats suggèrent que la stratégie d'instructions doit être testée avec la précision, la fiabilité et les autres mesures de performance.
Ce que montrent et ne montrent pas les résultats
De brèves instructions axées sur la sécurité peuvent réduire les choix nocifs dans les scénarios étudiés. Elles ne montrent pas que les modèles peuvent prendre seuls des décisions cliniques ni que la même réduction s'appliquera dans tous les hôpitaux, spécialités ou produits.
Les rappels doivent être validés dans l'environnement concerné et évalués avec la supervision clinique et les autres protections.
Un enjeu de conception pour l'IA clinique
Le langage de sécurité doit être une composante testable du produit, et non un ajout tardif. L'étude montre qu'un bref rappel ne résout pas tout, mais peut orienter le comportement du modèle vers davantage de sécurité.
Cet article s'appuie sur un reportage de Medical Xpress. Lire l'article original.
Originally published on medicalxpress.com
