Le problème d'alignement de l'IA militaire
Le US Department of Defense suit une trajectoire agressive d'adoption de l'IA depuis l'établissement du Joint Artificial Intelligence Center en 2018 et de son successeur, le Chief Digital and Artificial Intelligence Office en 2022. Cependant, à mesure que le Pentagon a signé des contrats avec un nombre croissant d'entreprises d'IA — des entrepreneurs de la défense établis aux startups de la Silicon Valley en passant par les laboratoires de modèles de pointe — un nouveau défi a émergé : la prolifération d'outils d'IA incompatibles, de différentes versions de modèles et de niveaux de capacité incohérents dans les commandements et les branches de l'armée.
La réponse du Pentagon est un effort de standardisation de ses fournisseurs d'IA et de les faire tous fonctionner sur ce que les responsables appellent la même base — un ensemble partagé de versions de modèles, d'API, de politiques de sécurité et de points de repère de performance qui permettrait à différents systèmes militaires d'interagir et permettrait aux responsables de supervision d'avoir une image cohérente des capacités d'IA déployées.
Claude dans le contexte militaire
Parmi les systèmes d'IA que le Pentagon cherche à standardiser l'accès figure Claude d'Anthropic — l'un des modèles de langage de pointe qui a été utilisé par divers entrepreneurs adjacents à la défense et directement par les organisations du DoD pour des tâches incluant l'analyse de documents, le traitement du renseignement et l'aide à la décision. L'inclusion de Claude aux côtés des systèmes d'OpenAI, Google et Microsoft reflète le désir du Pentagon de maintenir l'optionnalité entre plusieurs fournisseurs d'IA de pointe plutôt que de devenir dépendant d'un seul fournisseur.
Anthropic a entretenu une relation plus complexe avec les contrats militaires que certains de ses concurrents. La politique d'utilisation acceptable de l'entreprise interdit l'utilisation de Claude pour le développement d'armes, les attaques contre les infrastructures critiques et plusieurs autres catégories d'applications nuisibles. Mais la ligne entre les cas d'usage interdits et autorisés dans un contexte militaire n'est pas toujours claire — l'analyse de documents, l'optimisation de la logistique et l'aide à la décision sont des applications factuellement neutres qui peuvent en pratique contribuer aux opérations militaires, y compris les opérations meurtrières.
La démission de la responsable de la robotique d'OpenAI, Caitlin Kalinowski, suite à l'accord du Pentagon de cette entreprise — citant des préoccupations concernant l'autonomie létale et une délibération insuffisante — souligne les tensions éthiques auxquelles les entreprises d'IA de pointe sont confrontées lorsqu'elles s'engagent auprès de clients militaires. Anthropic n'a pas publiquement divulgué les conditions spécifiques selon lesquelles Claude est disponible aux clients du DoD ou quels mécanismes de supervision régissent son utilisation militaire.
L'IA pour le ciblage militaire : le cœur du problème
L'application la plus sensible de l'IA dans les contextes militaires est le ciblage — l'utilisation de systèmes automatisés pour identifier, prioriser et dans certains cas contribuer à engager les cibles ennemies. La doctrine de l'armée américaine exige une autorisation humaine pour les décisions de recours à la force meurtrière, mais le rôle de l'IA dans le traitement des données de capteurs, l'identification des cibles potentielles et la présentation de recommandations aux décideurs humains s'est considérablement élargi ces dernières années.
Project Maven, le programme d'analyse d'imagerie basé sur l'IA du Pentagon, traite les images de surveillance des drones pour identifier les cibles d'intérêt pour examen humain. L'IA ne prend pas la décision meurtrière finale — un humain le fait — mais elle façonne les informations qui parviennent à l'humain et comment elles sont présentées, ce qui soulève des questions sur la qualité significative de la supervision humaine que la doctrine exige nominalement.
L'effort de standardisation est en partie une réponse aux préoccupations de supervision : si différents systèmes d'IA donnent des résultats différents pour les mêmes entrées, ou si personne n'a un compte rendu complet des systèmes d'IA qui contribuent à quelles décisions, la supervision humaine significative du ciblage assisté par l'IA devient extrêmement difficile. La standardisation crée de l'auditabilité — la capacité de savoir quel modèle, quelle version, sous quels paramètres de sécurité, a été impliqué dans une chaîne de décision donnée.
La question d'architecture éthique
Les critiques de la communauté de l'éthique de l'IA soutiennent que la standardisation aborde un problème de gouvernance mais ne résout pas la question éthique plus fondamentale : si l'IA doit être utilisée dans les décisions de ciblage du tout, et si oui sous quelles contraintes. Mettre tous les fournisseurs d'IA militaires sur la même base signifie définir ce que cette base est — quelles valeurs, quelles politiques de sécurité, quels usages interdits sont intégrés au standard. Ce processus de définition se déroule largement hors de la vue du public.
Les enjeux de bien faire les choses sont élevés. Les systèmes d'IA qui introduisent des biais dans les décisions de ciblage, qui hallucinent les évaluations des menaces, ou qui sont manipulés par des entrées adversariales pourraient contribuer à des erreurs catastrophiques en situations de combat. L'effort de standardisation du Pentagon est une reconnaissance de ce risque — mais l'adéquation de la réponse sera finalement jugée par la manière dont les systèmes fonctionnent dans les conditions opérationnelles qui ne peuvent pas être entièrement anticipées à l'avance.
Cet article est basé sur les rapports de MIT Technology Review. Lisez l'article original.
