Une étude menée par Harvard conclut qu’un modèle OpenAI a surpassé des médecins dans le diagnostic précoce aux urgences

La meilleure performance de l’IA est apparue lorsque l’enjeu était le plus élevé

Une étude menée par Harvard et publiée cette semaine dans Science apporte un élément de plus au débat sur l’usage possible de l’intelligence artificielle en médecine. Dans l’une des expériences les plus suivies de l’article, les chercheurs ont comparé les diagnostics des modèles OpenAI à ceux de deux médecins seniors de médecine interne à partir de cas réels des urgences du Beth Israel Deaconess Medical Center. Selon l’étude, le modèle o1 d’OpenAI a obtenu des résultats équivalents ou supérieurs à ceux des médecins humains à chaque étape du diagnostic, avec son avantage le plus net lors du triage initial aux urgences.

Cela compte parce que le triage est le moment où les cliniciens disposent du moins d’informations et du moins de temps. L’étude indique que les écarts étaient particulièrement marqués lors de ce premier contact, lorsque les médecins et les hôpitaux cherchent à identifier la cause la plus probable de l’état du patient avant que des examens plus complets ne soient disponibles. Dans ce contexte précoce, les chercheurs ont rapporté que o1 a fourni le diagnostic exact ou très proche dans 67 % des cas, contre 55 % pour l’un des médecins et 50 % pour l’autre.

Comment la comparaison a été conçue

L’équipe de recherche était dirigée par des médecins et des informaticiens de Harvard Medical School et de Beth Israel Deaconess. Dans l’expérience aux urgences mise en avant dans le document source, l’équipe s’est concentrée sur 76 patients arrivés aux urgences du Beth Israel. Les diagnostics générés par deux modèles OpenAI, o1 et 4o, ont été comparés à ceux produits par deux médecins seniors de médecine interne.

Ces résultats ont ensuite été examinés par deux autres médecins seniors qui ne savaient pas quels diagnostics provenaient d’humains et lesquels provenaient des systèmes d’IA. Cet aveuglement est important, car il réduit le risque que les évaluateurs privilégient une source plutôt qu’une autre en fonction de leurs attentes plutôt que de la qualité.

Les chercheurs ont également insisté sur le fait qu’ils n’avaient pas prétraité les données des patients avant de les fournir aux modèles. Au lieu de cela, les systèmes d’IA ont reçu les mêmes informations que celles disponibles dans le dossier médical électronique au moment où chaque diagnostic a été posé. Ce point répond directement à l’une des critiques récurrentes de la recherche sur l’IA médicale : les modèles peuvent paraître impressionnants seulement lorsqu’on leur fournit des entrées nettoyées, simplifiées ou exceptionnellement complètes. Ici, l’affirmation de l’équipe est que les modèles ont été testés sur le même tableau clinique brut et incomplet que celui disponible en pratique.

Ce que les résultats signifient, et ne signifient pas

Le résultat principal est remarquable, mais il doit être interprété avec prudence. Le document source décrit une étude de performance diagnostique, et non un test de remplacement des médecins. Une suggestion diagnostique plus précise au triage n’est pas la même chose que la prise en charge autonome du patient, la communication des risques, la prescription d’un traitement ou la responsabilité des résultats. La médecine d’urgence dépend de toutes ces fonctions, et le reportage de TechCrunch note explicitement que l’étude ne prétend pas que les médecins sont prêts à être remplacés.

Malgré cela, l’étude renforce l’idée que les grands modèles de langage pourraient devenir des outils d’aide à la décision très utiles en soins aigus, en particulier lorsque l’information est rare et que la pression temporelle est forte. Si un modèle peut mieux cibler plus tôt le champ diagnostique, il pourrait accélérer l’orientation, les examens ou l’intervention de spécialistes. Il pourrait aussi servir de contrôle face à des hypothèses manquées lorsque les cliniciens travaillent sous une forte charge cognitive.

L’un des auteurs principaux de l’étude, Arjun Manrai de Harvard Medical School, a déclaré dans le communiqué de l’école que l’équipe avait testé l’IA face à un large éventail de références et qu’elle avait surpassé à la fois les modèles précédents et les bases de comparaison médicales utilisées dans l’article. Dans les limites du texte source fourni, c’est l’expression la plus claire de l’interprétation des chercheurs eux-mêmes : non seulement l’IA était compétitive, mais l’un des modèles a établi une nouvelle référence interne dans ce protocole d’étude.

Pourquoi le triage est le champ de bataille décisif

Le triage est un environnement particulièrement révélateur pour les systèmes d’IA, car il comprime l’incertitude. Le clinicien dispose souvent d’une note courte, d’un premier ensemble de symptômes et de la nécessité de déterminer ce qu’il ne faut surtout pas manquer. C’est aussi le type de schéma d’information pour lequel les grands modèles de langage ont été conçus : texte fragmenté, contexte partiel et nécessité de classer rapidement les possibilités.

Le résultat de l’étude suggère qu’il pourrait s’agir d’un cas d’usage particulièrement favorable pour les modèles avancés. Plus le dossier est incomplet, plus un système peut être utile s’il parvient à identifier de manière constante les explications les plus probables ou les plus dangereuses. Le fait que l’écart soit le plus grand au premier contact laisse penser que l’aide de l’IA pourrait être la plus utile en première ligne des soins, et pas seulement une fois les dossiers complets, l’imagerie et les analyses de laboratoire disponibles.

Cela n’élimine pas le besoin de prudence. Le déploiement clinique soulèverait encore des questions sur la validation dans différents hôpitaux, la supervision médicale, l’intégration aux flux de travail et ce qui se passe lorsque les recommandations du modèle sont erronées, incomplètes ou excessivement confiantes. Ces questions ne sont pas réglées par une seule étude, même très médiatisée.

Et maintenant

L’intérêt immédiat de l’article est qu’il fournit aux hôpitaux, aux régulateurs et aux dirigeants des systèmes de santé des preuves plus solides que les modèles de langage les plus avancés méritent une évaluation sérieuse en milieu clinique. La voie la plus réaliste à court terme n’est pas le diagnostic autonome, mais l’utilisation supervisée au sein des équipes de soins existantes.

Si d’autres études confirment des performances similaires dans des groupes de patients et des établissements plus larges, les hôpitaux pourraient commencer à considérer l’assistance au triage par IA non plus comme une nouveauté expérimentale, mais comme une couche pratique d’aide au diagnostic. Cela aurait des implications pour les effectifs, la formation médicale, les cadres de responsabilité et la conception des logiciels de dossier médical électronique.

Pour l’instant, cette étude se distingue parce qu’elle fait passer le débat de la promesse théorique à une comparaison mesurée dans de vrais cas d’urgence. En médecine, c’est un seuil important. La question n’est plus de savoir si l’IA peut produire un langage clinique plausible. Il s’agit de savoir si les systèmes de santé sont prêts à utiliser de manière responsable des outils qui, dans certaines circonstances, peuvent reconnaître le bon diagnostic plus tôt que des médecins expérimentés.

Cet article est basé sur le reportage de TechCrunch. Lire l’article original.