Google teste une évaluation IA en double aveugle pour Gemini

Google cherche à fermer les fuites dans les benchmarks IA

Google DeepMind dit tester une nouvelle façon d’évaluer des systèmes d’IA avancés sans exposer ni les questions de test ni le modèle lui-même. Le pilote, présenté comme la première évaluation en double aveugle d’un modèle propriétaire de pointe, vise l’un des problèmes de mesure les plus persistants du secteur : la contamination des benchmarks.

Le problème est simple, mais lourd de conséquences. Si un modèle a déjà absorbé des questions de benchmark pendant l’entraînement ou l’optimisation, les bons scores deviennent plus difficiles à interpréter. Un résultat peut refléter de la mémorisation, une exposition directe ou un réglage spécifique au test, plutôt qu’une capacité plus générale. Pour les entreprises, les chercheurs, les régulateurs et les évaluateurs externes, cela fragilise la confiance dans l’un des principaux outils utilisés pour comparer les modèles et évaluer les risques.

Selon le rapport fourni, l’approche de Google place les matériaux de test confidentiels dans un environnement protégé par cryptographie afin que le fournisseur du modèle ne puisse pas inspecter les prompts à l’avance. En parallèle, l’évaluateur n’a pas accès aux poids du modèle. Cet agencement vise à supprimer un arbitrage de longue date dans les tests externes, où l’une des parties doit généralement renoncer soit à des données sensibles de benchmark, soit à des actifs propriétaires du modèle.

Un pilote centré sur Gemini Flash Lite

Le projet pilote utilise un modèle de la gamme Gemini Flash Lite et s’exécute sur des benchmarks confidentiels avec des partenaires dont le Singapore AI Safety Institute. L’objectif annoncé est de préserver la confidentialité des deux parties tout en permettant une évaluation externe rigoureuse. En pratique, le benchmark reste caché à Google, et les détails internes du modèle restent cachés à l’évaluateur.

Cela compte parce que les tests de modèles avancés dépendent de plus en plus de matériaux sensibles. Dans des domaines comme la cybersécurité, les risques d’usage abusif ou les évaluations menées par les gouvernements, les prompts de benchmark peuvent eux-mêmes être précieux ou risqués. Si ces questions fuitent, le test peut perdre l’essentiel de sa valeur. Si l’on demande aux fournisseurs de remettre les poids, ils font face à leurs propres préoccupations de propriété intellectuelle et de sécurité.

L’article présente ce nouveau processus comme une tentative de résoudre ces deux problèmes à la fois. Google dit utiliser Confidential Space, issu du portefeuille de calcul confidentiel de Google Cloud, pour créer un environnement d’exécution protégé. Le but n’est pas seulement une confidentialité fondée sur des règles ou sur un contrat, mais un isolement technique soutenu par une vérification cryptographique.

Pourquoi la contamination des benchmarks est devenue plus préoccupante

La contamination des benchmarks n’est pas une inquiétude nouvelle en apprentissage automatique, mais elle devient plus grave à mesure que les modèles grandissent, que les données d’entraînement s’élargissent et que la pression concurrentielle s’intensifie. Les systèmes propriétaires de pointe sont entraînés sur des volumes immenses de données à l’échelle d’internet et de données sélectionnées. Cela augmente la probabilité que des matériaux de type benchmark, ou des variantes très proches, aient déjà intégré le pipeline d’entraînement.

Même lorsqu’un benchmark n’est pas inclus directement, des fuites peuvent se produire via le fine-tuning, les boucles de retour humain, des données d’entraînement synthétiques ou l’optimisation alimentée par la discussion publique répétée des formats de test. Une fois cela arrivé, les scores mis en avant peuvent surestimer les capacités dans le monde réel. Pour les observateurs externes, la question centrale devient alors de savoir si le benchmark mesure la généralisation ou la répétition.

La réponse proposée par Google est autant procédurale que technique : garder le test aveugle pour le développeur du modèle et garder le modèle opaque pour le propriétaire du test. Cela n’élimine pas tous les problèmes d’évaluation, mais cela cible directement l’un des plus corrosifs. Si le modèle ne peut pas voir les prompts à l’avance, le fournisseur a moins d’occasions d’optimiser spécifiquement pour ces éléments.

Le rapport note aussi que les évaluations externes sensibles exigeaient auparavant un compromis. Les évaluateurs pouvaient remettre les prompts et faire confiance au fournisseur pour ne pas les conserver ni en faire un mauvais usage, ou bien les fournisseurs pouvaient partager les poids du modèle et accepter l’exposition associée. La configuration en double aveugle vise à supprimer ce choix.

Un problème de confiance pour toute l’industrie, pas seulement pour Google

L’enjeu plus large est que les benchmarks IA sont devenus une question de gouvernance, et non plus seulement de classement. Les scores sont de plus en plus invoqués dans les lancements de produits, les achats d’entreprise, les débats sur la sécurité et les discussions de politique publique. Si les tests derrière ces affirmations ne sont pas fiables, une grande partie de la base de preuves publiques sur les performances de l’IA devient moins crédible.

L’article renvoie à un exemple récent impliquant le report de l’évaluation ARC-AGI pour Fable 5 d’Anthropic, où des contraintes de conservation des données ont compliqué le test indépendant. Cet exemple illustre les frictions opérationnelles qui peuvent apparaître lorsque des modèles puissants rencontrent des benchmarks externes confidentiels. Déduction tirée du rapport fourni : Google positionne son pilote comme un moyen de rendre ces évaluations plus faciles à mener sans obliger l’une ou l’autre partie à une divulgation inconfortable.

Il y a aussi ici une ambition de standardisation. Google dit espérer que cet effort aidera l’industrie à construire des systèmes d’IA plus fiables et plus largement dignes de confiance. Cette affirmation doit être lue avec prudence. Un pilote n’est pas une solution à l’échelle du secteur, et la confiance dans les benchmarks dépend de plus que du secret des prompts. La qualité de la conception du test, la rigueur statistique, la reproductibilité, l’étendue du benchmark et l’indépendance de l’évaluateur restent essentielles. Mais la protection technique autour du processus de test pourrait devenir un élément important de la pile.

Ce qu’il faut surveiller ensuite

La question la plus importante est de savoir si cette méthode s’étendra au-delà d’un seul pilote. Si d’autres grands développeurs de modèles, des instituts indépendants et des évaluateurs publics adoptent des mécanismes similaires, l’approche pourrait devenir une composante normale de la supervision des modèles de pointe. Si elle reste limitée à des démonstrations ponctuelles, son impact sera plus restreint.

Une autre question ouverte est de savoir quels types d’évaluations en bénéficient le plus. L’article suggère que la cybersécurité et les tests gouvernementaux sont des candidats particulièrement solides, car les prompts eux-mêmes peuvent être sensibles. Cette logique pourrait aussi s’étendre à certains contextes de biosécurité, de sécurité nationale ou de red teaming commercial, même si le texte fourni ne précise pas directement ces domaines.

Pour l’instant, l’évolution principale est claire : Google DeepMind cherche à faire passer les benchmarks IA d’un modèle fondé sur la confiance à une confidentialité imposée techniquement. Dans un domaine où les affirmations de performance sont débattues aussi vivement que les systèmes eux-mêmes, c’est un changement notable. Le pilote ne règle pas le débat plus large sur la manière de mesurer les capacités de l’IA, mais il traite une lacune fondamentale de crédibilité. Si un benchmark est censé tester ce qu’un modèle peut faire, le modèle ne devrait pas déjà connaître l’examen.

Cet article est basé sur un reportage de The Decoder. Lire l’article original.