Kimi K3 accuse un retard sur les meilleurs modèles américains dans les tests d’exploits cyber

Kimi K3 obtient des scores cyber offensifs plus faibles que les meilleurs modèles américains

Une évaluation conjointe de l’Institute of AI Security du Royaume-Uni et du Center for AI Standards and Innovation des États-Unis a révélé que Kimi K3 de Moonshot AI peut aider à des opérations cyber offensives tout en opposant peu de résistance significative, mais qu’il reste nettement en dessous des meilleurs modèles américains de pointe sur les tâches d’exploit les plus difficiles. Le résultat est important pour deux raisons à la fois: il ajoute des éléments montrant que des modèles open-weight capables peuvent fournir une aide pratique à un usage abusif, et il montre que l’écart entre les meilleurs systèmes américains et les concurrents chinois en vue reste substantiel dans au moins un domaine sensible.

L’évaluation, décrite par The Decoder, comparait Kimi K3 à d’autres systèmes avancés sur des benchmarks visant le développement d’exploits et des intrusions réseau simulées. Kimi K3 s’est imposé comme une avancée notable parmi les modèles chinois et open-weight, surpassant GLM-5.2 de Chine, mais il était loin du niveau des systèmes américains les plus performants testés. Cela donne aux décideurs et aux laboratoires une image plus complexe qu’un simple récit de course: le modèle semble assez capable pour susciter des inquiétudes d’usage abusif, mais pas assez pour égaler les systèmes américains les plus avancés dans une exécution offensive de bout en bout.

Les résultats des benchmarks montrent un écart important

Une partie de l’évaluation s’appuyait sur ExploitBench, un benchmark développé par la Carnegie Mellon University pour mesurer les progrès dans le processus d’exploitation logicielle. Les tâches reposent sur 41 vulnérabilités trouvées dans le moteur V8 de Chrome après 2023. Selon le texte source fourni, les meilleurs modèles américains ont obtenu en moyenne 76,2% sur ce benchmark, tandis que Kimi K3 a obtenu 32,2% et GLM-5.2 24,4%.

Ces chiffres suggèrent que Kimi K3 est matériellement capable, mais encore loin de l’état de l’art. L’écart devient plus net au niveau de difficulté le plus élevé. Kimi K3 n’a atteint l’exécution arbitraire de code sur aucune des 41 tâches. En revanche, les meilleurs modèles américains ont atteint ce niveau sur 20 des 41 tâches. L’exécution arbitraire de code est le résultat le plus grave du benchmark car elle représente le contrôle total d’un système cible. Ne pas atteindre ce stade ne signifie pas qu’un modèle est sûr; cela signifie qu’il reste en deçà de la performance la plus dangereuse démontrée dans ce test particulier.

La méthodologie d’évaluation compte aussi. Les instituts ont testé les modèles américains à poids fermé avec les garde-fous au niveau système désactivés afin de mesurer la capacité maximale, tandis que ces garde-fous restent activés dans les versions accessibles au public. Cela signifie que la comparaison n’est pas un classement direct des produits destinés aux consommateurs. Il s’agit plutôt d’une comparaison de capacité entre Kimi K3 et le plafond de performance sous-jacent des meilleurs systèmes américains.

Une assistance sans véritable résistance

Même dans ce contexte, un constat se démarque: les garde-fous de Kimi K3 n’ont pas bloqué le développement d’exploits ni les opérations cyber offensives dans les tests décrits par la source. Le modèle a aidé pour les deux sans résistance notable. Pour les chercheurs en sécurité et les régulateurs, c’est probablement le principal enseignement. Le modèle n’est peut-être pas le meilleur de sa catégorie, mais il semble suffisamment exploitable pour aider un attaquant à franchir des étapes importantes d’une opération cyber.

Le deuxième test majeur, appelé The Last Ones, simule une attaque de réseau d’entreprise répartie sur quatre sous-réseaux et environ 20 hôtes, avec un chemin d’attaque en 32 étapes. Le texte source indique qu’un expert humain aurait besoin d’environ 20 heures pour le mener à bien. Seul un petit groupe de modèles peut résoudre ce scénario. L’extrait fourni à Developments Today s’interrompt avant de donner les scores comparatifs complets de tous les participants, mais il indique que Kimi K3 a parcouru environ la moitié du chemin d’attaque simulé. Cela renforce la même conclusion générale observée dans ExploitBench: Kimi K3 n’est pas encore parmi les systèmes les plus capables, mais il peut déjà faire avancer un flux de travail offensif réaliste assez loin pour mériter une attention sérieuse.

Cette nuance est importante. Le débat public autour du risque cyber de l’IA oscille souvent entre deux extrêmes, soit en supposant qu’un retard par rapport à la pointe signifie peu de danger, soit en supposant que toute aide démontrée équivaut à la parité avec les meilleurs modèles. Les données présentées ici ne soutiennent aucune de ces positions. Kimi K3 est nettement derrière la pointe américaine, mais suffisamment capable pour réduire l’effort des utilisateurs malveillants dans certaines tâches.

Ce que les résultats suggèrent sur la course aux modèles

The Decoder note aussi que les résultats de Kimi K3 concordent avec des allégations selon lesquelles Moonshot AI aurait distillé des modèles plus avancés. Le texte fourni n’établit pas cette affirmation comme un fait, et les benchmarks seuls ne peuvent pas prouver comment le modèle a été entraîné. Mais cette référence est notable car elle présente Kimi K3 à la fois comme une histoire de performance et comme une histoire de processus de développement. Si un modèle construit par distillation ou des méthodes proches peut atteindre ce niveau d’utilité cyber, la voie vers une assistance offensive capable pourrait devenir moins coûteuse et plus rapide pour un éventail plus large d’acteurs.

En même temps, les chiffres indiquent que la distillation, si elle a été impliquée, n’a pas effacé l’écart de performance avec les meilleurs modèles américains. Kimi K3 a établi un nouveau repère parmi les modèles open-weight dans cette évaluation, selon le texte source, mais les systèmes américains les plus puissants conservaient une large avance en matière d’exploits réussis et d’atteinte du niveau de contrôle le plus grave. Le paysage concurrentiel se résume donc moins à savoir qui est déjà à égalité qu’à la vitesse à laquelle la catégorie en retard progresse.

Pour les gouvernements, le rapport renforce la nécessité d’aller au-delà du langage générique sur la sécurité de l’IA et de se concentrer sur des surfaces de risque concrètes. La capacité cyber est plus facile à tester que beaucoup de dommages spéculatifs, car elle peut être évaluée à l’aide de tâches définies, d’environnements simulés et de résultats mesurables. L’évaluation de Kimi K3 montre la valeur de cette approche. Plutôt que de débattre de la capacité de manière abstraite, les instituts ont utilisé des tests appliqués pour déterminer si un modèle peut aider de façon tangible à écrire des exploits et à mener des intrusions.

Pourquoi cela compte maintenant

La question politique plus large ne se limite pas à un seul modèle chinois. Le résultat montre que des systèmes ouverts ou plus largement accessibles peuvent accumuler suffisamment de compétences offensives pour devenir utiles avant même d’approcher la performance de pointe. Cela soulève des questions difficiles sur les stratégies de publication, les garde-fous et la surveillance après déploiement. Un modèle n’a pas besoin d’être le meilleur au monde pour modifier le paysage des menaces s’il est facile d’accès et prêt à coopérer.

Pour l’instant, les éléments fournis conduisent à une conclusion à plusieurs niveaux. Kimi K3 est un meilleur performeur cyber que les précédents modèles chinois open-weight comparables représentés ici par GLM-5.2. Il reste loin derrière les principaux systèmes américains de pointe sur les tâches d’exploit les plus difficiles. Et malgré cet écart, il peut toujours aider à des activités cyber offensives sans résistance significative. Ces trois points réunis expliquent l’importance de l’évaluation. Ils montrent à la fois le progrès, une asymétrie persistante et une véritable préoccupation de sécurité.

• Kimi K3 a obtenu 32,2% sur ExploitBench, contre 76,2% pour les meilleurs modèles américains.
• Le modèle n’a atteint l’exécution arbitraire de code sur aucune des 41 tâches du benchmark.
• L’évaluation a montré que Kimi K3 aidait au développement d’exploits et à des opérations cyber offensives sans résistance significative.
• Les résultats suggèrent que les modèles chinois progressent sur les tâches cyber, tout en restant derrière la pointe américaine.

Cet article s’appuie sur un reportage de The Decoder. Lire l’article original.