Le PDG de Microsoft défend une approche de la sécurité de l’IA fondée sur le confinement
Le PDG de Microsoft, Satya Nadella, a déclaré que les systèmes d’IA avancés devraient être conçus en partant du principe qu’ils peuvent être compromis, avec la possibilité pour une personne qualifiée de les mettre en pause ou de les arrêter pendant leur fonctionnement.
Dans une longue publication sur X, Nadella a décrit un avenir où l’IA ne pourrait pas être traitée comme un ensemble de systèmes opaques dont les recommandations et les actions sont simplement acceptées ou rejetées par les utilisateurs. Il a plutôt appelé à des systèmes plus transparents, qui puissent être observés et confinés, et qui laissent des preuves infalsifiables et lisibles par des humains de ce qui s’est produit.
Ses propos placent le contrôle opérationnel et l’auditabilité au cœur du débat sur les modèles très performants. Ils présentent également la sécurité de l’IA moins comme une question de confiance dans le comportement prévu d’un modèle que comme la nécessité de construire des systèmes qui restent maîtrisables lorsque cette confiance est mal placée.
Un confinement dès le départ
La proposition la plus directe de Nadella consiste à faire du confinement une exigence de base plutôt qu’une protection exceptionnelle. Il a comparé cette idée à un frein d’urgence : une personne autorisée devrait pouvoir interrompre ou arrêter un modèle au milieu d’une tâche.
Ce principe devient particulièrement important à mesure que les modèles sont utilisés pour des travaux plus longs ou plus lourds de conséquences. Un système capable d’agir, d’utiliser des outils ou de poursuivre une tâche en plusieurs étapes peut créer des risques plus difficiles à traiter une fois le résultat obtenu. Un mécanisme de pause ou d’arrêt vise à préserver l’intervention humaine tant que la tâche est en cours.
Nadella a également affirmé que les systèmes plus avancés auront besoin de technologies de confinement plus avancées, et que ces technologies devraient être standardisées. La déclaration ne précise pas de conception technique particulière, mais elle renvoie à une attente plus large : les contrôles de sécurité ne devraient pas être improvisés séparément pour chaque modèle ou déploiement.
Transparence, preuves et contrôle externe
Les recommandations du dirigeant de Microsoft rejoignent des idées déjà centrales dans les débats sur la gouvernance de l’IA. Elles comprennent la divulgation rapide des incidents, les audits indépendants, les données vérifiables et le confinement technique.
Ensemble, ces mesures s’attaquent à différents aspects du problème de la responsabilité. La divulgation des incidents peut alerter les utilisateurs, les développeurs et les régulateurs en cas de défaillance. Les audits indépendants peuvent tester les affirmations des développeurs d’IA. Des données vérifiables peuvent faciliter l’examen du fondement des résultats ou des actions d’un système. Le confinement offre un moyen de limiter les dommages lorsqu’un système se comporte de façon inattendue ou est détourné.
L’accent mis par Nadella sur des preuves infalsifiables et lisibles par des humains est particulièrement notable, car il relie les garanties techniques à la supervision concrète. Les preuves ne doivent pas seulement exister ; elles doivent être disponibles sous une forme que les personnes puissent examiner lorsqu’elles doivent déterminer ce qu’un système a fait et pourquoi une décision a été prise.
De l’acceptation au contrôle
L’argument sous-jacent est que l’IA avancée ne devrait pas être acceptée comme une boîte noire au seul motif qu’elle peut être utile. La formulation de Nadella suggère que les seules affirmations de fiabilité ne suffisent pas pour des systèmes susceptibles d’influencer des décisions importantes ou d’agir dans des environnements complexes.
L’attention se porte plutôt sur les conditions entourant un modèle : peut-il être observé, son activité peut-elle être documentée, des parties extérieures peuvent-elles l’évaluer, et une personne disposant de l’autorité appropriée peut-elle l’arrêter ? Cette approche n’élimine pas le défi de construire des modèles performants, mais elle fait des fonctions de contrôle un élément de la définition même d’un système déployable.
Nadella a évoqué à plusieurs reprises la perspective d’une « superintelligence », un terme qui reflète le cadrage à haut risque de son intervention. Ses recommandations concrètes portent toutefois sur des choix de gouvernance actuels : audits, signalement, vérifiabilité et mécanismes d’intervention humaine.
Ce que signifie la proposition
La proposition ne constitue pas un plan technique ou réglementaire complet. Mais elle appelle clairement les développeurs et les déployeurs d’IA à anticiper les risques de compromission, de défaillance ou de mauvais usage avant la mise en service d’un système.
Pour les organisations qui adoptent l’IA, l’implication pratique est simple : déterminer si les systèmes peuvent être surveillés, si l’activité est enregistrée d’une manière permettant son examen, qui est autorisé à intervenir et si cette intervention peut avoir lieu assez rapidement pour être utile. À mesure que les systèmes d’IA gagnent en capacité, ces questions pourraient passer d’une liste de contrôle de sécurité à une condition fondamentale d’utilisation.
Cet article s’appuie sur un reportage de The Verge. Lire l’article original.
Originally published on theverge.com