Un accord aux implications considérables
Il n'y a guère plus de deux semaines qu'OpenAI a conclu un accord historique permettant au Département de la Défense américain d'utiliser ses systèmes d'IA dans les environnements militaires classifiés. L'accord a suscité à la fois une attention importante et des préoccupations majeures de la part des chercheurs en IA, des experts du contrôle des armements et des défenseurs des libertés civiles. Avec les forces américaines activement engagées dans les opérations militaires contre l'Iran—y compris les attaques sur l'île de Kharg—le timing rend les implications de l'accord plus immédiates que la plupart ne l'avaient prévu.
Les paramètres fondamentaux de l'accord sont connus : OpenAI permettra l'utilisation militaire de ses modèles dans les environnements classifiés, Sam Altman déclarant publiquement que l'accord n'autorise pas l'armée à construire des autonomous weapons utilisant la technologie de l'entreprise, et affirmant également que l'arrangement prévient les applications de surveillance domestique. Mais l'examen des termes réels de l'accord révèle que les deux restrictions sont principalement appliquées par les propres directives du Pentagone sur les autonomous weapons systems—des directives qui sont elles-mêmes assez permissives selon les normes internationales.
Ce que les directives du Pentagone sur les Autonomous Weapons disent réellement
La directive du Département de la Défense sur les Autonomous Weapons Systems exige que les lethal autonomous weapons maintiennent des niveaux appropriés de jugement humain sur les décisions de tir. Les critiques de ce libellé ont noté de façon constante qu'il ne spécifie pas ce que « approprié » signifie, ne requiert pas une approbation humaine pour chaque décision de targeting individuelle, et permet explicitement les systèmes semi-autonomes où un humain approuve les catégories de targeting ou les paramètres de strike à l'avance sans approuver chaque engagement spécifique.
Cela crée un écart significatif entre le positionnement public d'OpenAI—nous ne permettrons pas à l'armée de construire des autonomous weapons—et ce que l'accord permet réellement. Selon les propres normes du Pentagone, un système d'IA qui traite les sensor data, identifie les targets et exécute les strikes sans autorisation humaine à chaque tir pourrait toujours être conforme si un humain avait approuvé les targeting rules à l'avance. Le fait que les modèles d'OpenAI puissent être intégrés dans un tel système sans violer l'accord n'est pas publiquement clair.
L'Iran comme cas d'essai
Le conflit continu avec l'Iran rend ces questions concrètes plutôt qu'hypothétiques. Le Commandement Central américain mène des strike operations dans la région du Golfe Persique, coordonne les réponses aux asymmetric threats navales iraniennes et gère la intelligence collection dans un battlespace complexe. Chacune de ces activités implique des catégories d'application de l'IA où les modèles d'OpenAI pourraient potentiellement être intégrés.
Du côté de l'intelligence, les large language models ont prouvé leur capacité à synthétiser rapidement les informations provenant de multiples sources, traduire les communications en langues étrangères et identifier les modèles dans les données structurées—toutes les tâches pertinentes pour la military intelligence analysis. Il est largement entendu que ces applications figurent parmi les principaux usages militaires de l'IA commerciale et soulèvent moins de préoccupations éthiques que le autonomous targeting.
Plus préoccupantes sont les applications potentielles dans la target identification ou le battle damage assessment, où les systèmes d'IA pourraient traiter l'imagery ou les signals intelligence pour identifier les military assets, suivre les movements ou évaluer les résultats des strikes. Ce sont des domaines où la distinction entre un outil de decision support et un système autonome devient floue—et où le langage spécifique de l'accord d'OpenAI déterminerait si une application donnée est permise.
La restriction sur la surveillance et ses limites
L'affirmation d'Altman selon laquelle l'accord prévient l'utilisation de la technologie d'OpenAI pour la domestic surveillance est plus complexe qu'il n'y paraît. La restriction telle que décrite s'applique à la domestic surveillance—collection et analyse de données sur les citoyens américains—mais n'aborde pas la foreign intelligence collection. Dans le contexte des opérations militaires, la surveillance des communications militaires adversaires, le suivi des mouvements de navires et la surveillance des communications du régime iranien seraient tous classifiés comme foreign intelligence collection et ne seraient pas couverts par une restriction de domestic surveillance.
Les défenseurs des libertés civiles qui se concentrent sur les préoccupations liées à la domestic surveillance peuvent ne pas prioriser les applications de foreign intelligence que les commandants militaires trouvent les plus précieuses. Mais la confusion des deux dans les communications publiques suggère que le positionnement public d'OpenAI peut ne pas capturer complètement l'étendue des applications militaires que l'accord autorise.
Quelles semblent être les motivations d'OpenAI
OpenAI n'est pas la première grande entreprise technologique à naviguer la tension entre le développement commercial de l'IA et l'application militaire. Google a fait face à une opposition interne importante concernant son contrat Project Maven en 2018, finalement refusant de le renouveler. Microsoft et Amazon ont continué à développer les contrats de défense malgré certains désaccords internes.
La décision d'OpenAI d'entrer sur le marché militaire classifié suggère un calcul stratégique selon lequel la concurrence pour les contrats d'IA gouvernementale est importante pour la position à long terme de l'entreprise, particulièrement alors qu'elle rivalise avec Anthropic, Google DeepMind et les entreprises d'IA axées sur la défense comme Scale AI et Palantir. Le budget d'IA du Pentagone croît rapidement, et l'entreprise qui s'établit comme le partenaire d'IA gouvernemental de confiance dès le départ peut assurer des avantages significatifs à long terme.
Cet article est basé sur le reportage du MIT Technology Review. Lire l'article original.
