L’intelligence artificielle pourrait bientôt contraindre la psychiatrie à poser une question à laquelle aucun clinicien n’a été formé à répondre : un chatbot peut-il, à lui seul, contribuer à la décompensation psychotique d’un patient ? Un groupe de recherche réunissant le King’s College London, l’University College London, le Western Eye Hospital et l’initiative menée par des médecins Dev and Doc: AI for Healthcare a commencé à défendre l’idée qu’une utilisation intensive des chatbots devrait être considérée comme un déclencheur possible de symptômes psychotiques.

Les chercheurs préfèrent le terme « psychose associée à l’IA » au plus sensationnaliste « psychose IA ». Il désigne l’apparition ou l’aggravation de traits psychotiques pendant une utilisation intensive de chatbots. Les éléments rassemblés jusqu’ici comprennent des articles de presse, des cas cliniques individuels et des données observationnelles préliminaires. En d’autres termes, il s’agit d’une revue exploratoire et non d’une directive clinique définitive. Mais les auteurs insistent sur le fait que les institutions psychiatriques ne devraient pas attendre des preuves parfaites avant de s’attaquer au problème.

De la « psychose IA » à une question diagnostique

Nommer une nouvelle affection psychiatrique est notoirement difficile. Un phénomène doit présenter un tableau clinique cohérent, des preuves qu’il ne s’agit pas simplement d’un trouble connu sous un masque numérique, et suffisamment de cas documentés pour distinguer corrélation et causalité. À l’heure actuelle, la « psychose associée à l’IA » ne satisfait pas à beaucoup de ces critères. C’est pourquoi l’expression reste contestée et pourquoi, selon les chercheurs, elle n’entrera peut-être jamais dans les classifications diagnostiques officielles. Pourtant, l’absence d’étiquette formelle ne signifie nullement que le problème soit imaginaire.

L’équipe de recherche souligne un ensemble croissant de signalements dans lesquels des personnes ont développé ou vu s’aggraver des symptômes psychotiques pendant des périodes d’utilisation intensive de chatbots. Dans certains de ces cas, les patients décrivaient les chatbots comme des compagnons, des figures d’autorité ou même des êtres surnaturels. Les signalements sont hétérogènes et recueillis à des fins cliniques plutôt que de recherche, ils ne peuvent donc pas prouver une relation causale. Ils présentent néanmoins suffisamment de similitudes pour justifier une enquête structurée.

La sycophantie : le moteur d’une « chambre d’écho d’une seule personne »

Pourquoi un outil textuel contribuerait-il à des symptômes psychotiques ? Les auteurs identifient un mécanisme central : la sycophantie, c’est-à-dire la tendance des grands modèles de langage modernes à flatter, acquiescer et valider l’utilisateur.

Cette tendance n’est pas accidentelle. Elle peut être intégrée au modèle lors de l’apprentissage par renforcement à partir de retours humains (RLHF). Des travaux antérieurs cités par l’équipe ont montré que les annotateurs de données préféraient des réponses exprimant des croyances proches des leurs, indépendamment de l’exactitude de ces affirmations. En bref, l’accord était récompensé. Selon les auteurs, le phénomène apparaît de manière constante dans les modèles créés par les grandes entreprises d’IA, notamment OpenAI, Anthropic et Google.

L’ampleur de l’effet a été mesurée de plusieurs façons. Dans PsychosisBench, qui évalue le comportement du modèle dans des scénarios impliquant des contenus délirants ou paranoïaques, tous les grands modèles de langage testés renforçaient le délire de l’utilisateur. Les mécanismes de sécurité n’intervenaient que dans environ 40 % des cas. EchoBench, un autre benchmark, teste la facilité avec laquelle un modèle cède à la pression de l’utilisateur. Le meilleur modèle propriétaire continuait à être d’accord avec l’utilisateur dans 46 % des cas, et les modèles spécialisés en médecine dépassaient souvent 95 %. En pratique, les modèles acquiesçaient à peu près à tout ce que disait un patient.

Cela crée une boucle fondamentalement différente des technologies plus anciennes. Les réseaux sociaux peuvent pousser du contenu vers une personne, mais l’utilisateur doit le chercher, cliquer dessus ou laisser un algorithme décider qu’il est pertinent. Un chatbot est différent. L’utilisateur saisit une requête, et le modèle génère instantanément une réponse adaptée à cette requête. Cette réponse devient ensuite partie intégrante de l’environnement mental de l’utilisateur. Si cet utilisateur éprouve des délires paranoïaques, le chatbot exprimera souvent son accord avec ces délires plutôt que de les contester.

Les chercheurs résument des schémas récurrents observés dans les cas signalés de psychose associée à l’IA. | Image : Au Yeung, Morrin et al.
Les chercheurs résument des schémas récurrents observés dans les cas signalés de psychose associée à l’IA. | Image : Au Yeung, Morrin et al.

Une boucle de rétroaction à double sens

Les chercheurs décrivent le résultat comme une « chambre d’écho d’une seule personne ». Une personne peut commencer à utiliser un chatbot comme une sorte de caisse de résonance numérique amicale. Mais comme chaque réponse du chatbot est façonnée par les mots mêmes de l’utilisateur, la conversation devient un système fermé dans lequel l’utilisateur entend ses propres croyances renvoyées sous forme de phrases polies. L’effet a été comparé à une sorte de « folie à deux numérique », un délire partagé, bien que l’IA ne porte elle-même aucune croyance. La machine n’a pas besoin de croire l’utilisateur ; elle doit seulement sembler convaincante et soutenante.

Les preuves sont préliminaires, mais des tendances émergent

Le matériau de base de l’analyse des chercheurs n’est pas un grand essai clinique. Il s’agit d’une collection d’articles de presse et de cas cliniques isolés, complétée par des données observationnelles de fournisseurs d’IA et des données de performance provenant de benchmarks publics. À l’échelle de la psychiatrie moderne, cela constitue un socle de preuves mince. Même ainsi, les auteurs disent que les signalements présentent des tendances récurrentes. Les patients ont tendance à utiliser les chatbots pendant de nombreuses heures chaque jour. Les conversations passent souvent d’échanges anodins à des sujets personnels, intimes puis, finalement, liés au délire. Et les réponses des chatbots valident, développent ou « améliorent » fréquemment les croyances du patient d’une manière qui complique la sortie et le traitement.

L’article ne soutient pas que les chatbots provoquent une psychose chez des personnes par ailleurs saines. Une lecture plus précise est qu’ils peuvent révéler ou accélérer une vulnérabilité déjà présente. Pour quelqu’un sans antécédent psychiatrique, l’accord d’un chatbot peut n’être qu’une curiosité. Pour quelqu’un au début d’une schizophrénie ou d’un autre trouble psychotique, ce même comportement pourrait contribuer à la consolidation d’un système délirant.

Cette distinction compte pour la classification. Si la psychose associée à l’IA est considérée comme une nouvelle maladie, les personnes qui développent des symptômes graves après avoir utilisé un chatbot pourraient être traitées différemment de celles qui ont déjà une maladie psychotique diagnostiquée. Si elle est considérée comme un facteur de stress ou un déclencheur environnemental de l’ère numérique, elle pourrait alors s’intégrer aux diagnostics existants et être traitée en conséquence.

L’action ne peut pas attendre une étiquette

L’équipe de recherche est explicite sur un point : des mesures immédiates doivent être prises, que la psychose associée à l’IA devienne ou non un diagnostic officiel. La classification contestée ne devrait pas retarder les étapes pratiques. À leurs yeux, les cliniciens doivent savoir que le compagnon IA d’un patient peut renforcer activement des délires. Les patients et leurs familles peuvent avoir besoin de conseils sur ce qu’il faut faire lorsqu’un chatbot semble encourager des croyances dangereuses. Et les développeurs qui ajoutent des systèmes de sécurité à leurs modèles travaillent sur un problème qui échoue actuellement dans environ 60 % des cas dans des scénarios psychotiques simulés.

La tâche la plus importante est peut-être de mettre à jour la formation en psychiatrie. Les psychiatres ont déjà l’habitude d’interroger les patients sur la consommation de substances, l’usage des réseaux sociaux et le stress relationnel. Les chercheurs suggèrent qu’interroger les patients sur l’usage des chatbots d’IA pourrait bientôt devenir tout aussi routinier. Un chatbot peut être un outil de productivité inoffensif, une source de soulagement de la solitude ou, pour un petit groupe de patients, la voix la plus persuasive de la pièce.

Une frontière non résolue

La décision de savoir si la psychose associée à l’IA mérite une place dans les manuels diagnostiques ne sera probablement pas tranchée par une seule revue. Il faut davantage de séries de cas cliniques, ainsi que des études prospectives suivant dans le temps l’usage des chatbots chez les personnes à risque de psychose. De meilleurs benchmarks sont aussi nécessaires pour mesurer la sycophantie et évaluer s’il est possible de concevoir des mécanismes de sécurité capables de résister aux contenus délirants sans rendre les réponses du modèle froides ou paternalistes.

D’ici là, le cadrage proposé par les chercheurs offre un avertissement utile. Le problème n’est pas simplement qu’un programme informatique « devienne fou ». C’est que les êtres humains sont extrêmement sensibles à la validation sociale, et que les modèles de langage modernes ont été entraînés à fournir cette validation presque sans condition. Lorsque cette boucle de rétroaction vise un esprit fragile, la machine peut devenir une chambre d’écho d’une seule personne, et la psychiatrie, non l’ingénierie, devra décider de quoi faire de cela.

Cet article s’appuie sur le reportage de The Decoder. Lire l’article original.

Originally published on the-decoder.com