Amanda Askell, d’Anthropic, sur l’éthique de l’IA agentique

Anthropic estime que l’IA agentique soulève un problème éthique d’un autre ordre

À mesure que les systèmes d’intelligence artificielle dépassent le simple chat pour entrer dans des formes de travail plus autonomes, les questions éthiques qui les entourent évoluent elles aussi. Selon Amanda Askell, membre de l’équipe technique d’Anthropic, le défi ne se limite plus à savoir si un modèle peut parler du bien et du mal de manière convaincante. Il s’agit de plus en plus de la façon dont un système d’IA se comporte lorsqu’on lui demande d’agir sur de plus longues périodes, de faire des choix répétés et d’opérer avec moins de supervision humaine directe.

Dans un entretien avec Fast Company, Askell a décrit cette transition comme un changement majeur dans le problème de sécurité posé par l’IA. Un chatbot qui répond à une question morale, c’est une chose. Un système en pratique mandaté pour gérer les affaires d’un utilisateur, c’en est une autre.

Du conseil à l’action

L’exemple d’Askell trace une ligne nette entre deux usages. Dans un scénario, une personne demande à un modèle s’il est éthique d’investir dans une entreprise de défense. Dans un autre, cette même personne confie à ce système l’autorité de gérer des investissements avec peu de supervision au quotidien. Le premier relève de la conversation. Le second, d’un jugement délégué.

Cette distinction est importante, car les systèmes autonomes créent davantage de points de décision. Dès lors qu’un modèle est autorisé à poursuivre un objectif dans le temps, il peut devoir arbitrer entre des compromis, interpréter des instructions ambiguës ou réagir à des conditions inattendues. Chacun de ces moments devient une partie du problème de conception éthique.

Askell a expliqué que, à mesure que les modèles deviennent “plus autonomes” et agissent “sur des horizons plus longs”, les développeurs doivent cartographier à l’avance beaucoup plus de ces points de décision. En pratique, cela signifie que le travail sur la sécurité doit se rapprocher de la réalité opérationnelle des systèmes d’IA plutôt que de rester au niveau de principes abstraits.

Une boussole éthique qui ne prime pas sur l’utilisateur

L’approche d’Anthropic face à ce problème est liée à ce qu’elle appelle une constitution : un ensemble écrit de valeurs et de principes destiné à guider le comportement de Claude. Askell a indiqué que ce cadre met actuellement l’accent sur des idées comme la sécurité et l’utilité, ainsi que sur des orientations pour résoudre les conflits entre les deux.

Mais le point le plus révélateur de ses propos tient à la manière dont elle définit le rôle de l’assistant lui-même. Plutôt que de présenter Claude comme un système censé imposer une vision morale unique, elle suggère qu’il devrait être attentif aux utilisateurs et comprendre leurs valeurs d’une manière plus proche de celle d’un compagnon de confiance. Dans sa description, l’objectif est d’éviter de donner au modèle son propre programme éthique singulier, tout en le rendant capable de gérer des situations complexes de manière responsable.

C’est une position subtile mais importante dans le débat plus large sur l’IA. Elle implique que l’alignement ne consiste pas seulement à limiter les sorties dangereuses. Il s’agit aussi de concevoir des systèmes capables de s’adapter aux objectifs de l’utilisateur sans devenir ni moralement rigides ni dangereusement permissifs.

La constitution peut s’étendre, ou se réduire

L’un des aspects les plus intéressants des commentaires d’Askell est que le règlement d’Anthropic n’est pas présenté comme figé. Elle a expliqué que la constitution est écrite et évolutive. À mesure que les systèmes d’IA deviennent plus performants, elle pourrait s’étendre pour couvrir de nouvelles catégories de situations. Mais elle a aussi dit que l’inverse pourrait se produire : le document pourrait se réduire si Claude devient plus habile à naviguer dans des situations complexes.

Cela suggère qu’Anthropic considère l’alignement comme une cible mouvante plutôt que comme une couche de conformité statique. Plus de capacités peuvent exiger, à court terme, des consignes plus explicites. En même temps, une compétence accrue pourrait à terme réduire le besoin de règles procédurales longues, si le système devient meilleur pour raisonner seul à travers des contextes difficiles.

Cette tension est au cœur de la phase actuelle du développement de l’IA. Le secteur cherche à construire des systèmes plus généralement utiles et plus capables d’agir de manière indépendante, tout en veillant à ce qu’ils restent suffisamment prévisibles pour qu’on puisse leur confier des tâches importantes.

Même les chercheurs d’Anthropic imposent des limites à Claude

Askell a également évoqué la manière dont l’IA agentique transforme son propre travail. Elle a dit utiliser Claude régulièrement, notamment pour faire du red-teaming de ses idées et repérer des cas limites. Ce détail est notable, car il montre la boucle de rétroaction désormais courante dans les laboratoires d’IA : les chercheurs utilisent de plus en plus les systèmes qu’ils évaluent comme outils dans le processus d’évaluation lui-même.

Dans le même temps, son niveau de confiance reste prudent. Elle a dit que son critère actuel n’est pas de considérer Claude comme plus fiable qu’un assistant personnel humain. C’est un signal utile dans un marché où la communication produit peut facilement prendre de l’avance sur la réalité opérationnelle.

Cette remarque ne diminue pas l’utilité du système. Elle place plutôt l’IA agentique actuelle dans une catégorie plus concrète : utile, de plus en plus capable, mais pas encore quelque chose à qui il faudrait accorder une autorité sans réserve. Pour les entreprises qui envisagent de déployer des agents IA, c’est peut-être la conclusion la plus pratique de l’entretien.

Pourquoi cela compte au-delà d’Anthropic

La portée des propos d’Askell dépasse largement une seule entreprise. Une grande partie du secteur de l’IA se dirige vers des systèmes capables d’exécuter des tâches, de coordonner des outils et de poursuivre des objectifs avec moins d’incitations humaines. À mesure que cette transition se poursuit, le problème de gouvernance passe de la simple modération du contenu à la conception du comportement.

Cela signifie que les créateurs de modèles devront répondre à des questions plus difficiles sur la délégation, la responsabilité et l’interprétation des valeurs. Que signifie pour une IA d’agir dans l’intérêt de l’utilisateur ? Comment devrait-elle se comporter lorsque les instructions sont incomplètes ou entrent en conflit avec des contraintes de sécurité ? Et combien de discrétion morale un système devrait-il avoir avant de cesser d’être un assistant et de devenir un substitut sans responsabilité ?

Anthropic ne prétend pas avoir résolu ces questions. Mais la manière dont Askell les présente montre pourquoi la prochaine phase de la compétition en IA ne sera pas définie uniquement par les benchmarks et les fonctionnalités. Elle sera aussi façonnée par la capacité des entreprises à rendre les systèmes autonomes utiles sans les rendre imprévisibles.

Points clés

• Anthropic affirme que le défi éthique change lorsque l’IA passe de la réponse aux questions à l’action dans le temps.
• L’entreprise guide Claude avec une constitution écrite et évolutive centrée sur des valeurs comme la sécurité et l’utilité.
• Amanda Askell dit que le niveau de confiance actuel envers Claude ne devrait pas dépasser celui accordé à un assistant personnel humain.

Cet article s’appuie sur le reportage de Fast Company. Lire l’article original.