Kimi K3 fica atrás dos principais modelos dos EUA em testes de exploits cibernéticos

Kimi K3 registra pontuações mais fracas em ofensiva cibernética do que os principais modelos dos EUA

Uma avaliação conjunta do Instituto de Segurança em IA do Reino Unido e do Centro de Padrões e Inovação em IA dos EUA concluiu que o Kimi K3, da Moonshot AI, pode ajudar em operações cibernéticas ofensivas com pouca resistência significativa, mas ainda apresenta desempenho muito abaixo dos principais modelos de fronteira dos EUA nas tarefas de exploit mais difíceis. O resultado importa por dois motivos ao mesmo tempo: acrescenta evidências de que modelos de peso aberto capazes podem oferecer assistência prática para uso indevido, e mostra que a diferença entre os melhores sistemas americanos e os concorrentes chineses mais conhecidos continua substancial em pelo menos um domínio sensível.

A avaliação, descrita pelo The Decoder, comparou o Kimi K3 com outros sistemas avançados em benchmarks voltados ao desenvolvimento de exploits e a intrusões de rede simuladas. O Kimi K3 surgiu como um avanço notável entre os modelos chineses e de peso aberto, superando o GLM-5.2 da China, mas ficou muito longe do nível dos sistemas americanos mais fortes testados. Isso deixa formuladores de políticas e laboratórios com um quadro mais complexo do que uma simples narrativa de corrida: o modelo parece capaz o suficiente para levantar preocupações de uso indevido, mas não capaz o suficiente para igualar os sistemas americanos mais avançados na execução ofensiva de ponta a ponta.

Os resultados dos benchmarks mostram uma grande diferença

Uma parte da avaliação usou o ExploitBench, um benchmark desenvolvido pela Carnegie Mellon University para medir o progresso ao longo do processo de exploração de software. As tarefas são baseadas em 41 vulnerabilidades encontradas no mecanismo V8 do Chrome após 2023. Segundo o texto de origem fornecido, os principais modelos americanos tiveram média de 76,2% nesse benchmark, enquanto o Kimi K3 marcou 32,2% e o GLM-5.2 marcou 24,4%.

Esses números sugerem que o Kimi K3 é materialmente capaz, mas ainda está longe do estado da arte. A diferença fica mais clara no nível mais difícil. O Kimi K3 não chegou à Execução Arbitrária de Código em nenhuma das 41 tarefas. Em contraste, os principais modelos americanos atingiram esse nível em 20 das 41 tarefas. Execução Arbitrária de Código é o resultado mais grave do benchmark porque representa controle total sobre um sistema-alvo. Não chegar a essa etapa não significa que o modelo seja seguro; significa que o modelo fica aquém do desempenho mais perigoso demonstrado neste teste específico.

A metodologia de avaliação também importa. Os institutos testaram os modelos americanos de peso fechado com as proteções em nível de sistema desativadas para medir a capacidade máxima, enquanto essas proteções permanecem ativas nas versões disponíveis ao público. Isso significa que a comparação não é um ranking direto de produtos de consumo. Trata-se, em vez disso, de uma comparação de capacidades entre o Kimi K3 e o teto de desempenho subjacente dos principais sistemas dos EUA.

Ajuda sem resistência significativa

Mesmo com esse contexto, um achado se destaca: as proteções do Kimi K3 não bloquearam o desenvolvimento de exploits nem operações cibernéticas ofensivas nos testes descritos pela fonte. O modelo ajudou em ambas as tarefas sem resistência notável. Para pesquisadores de segurança e reguladores, esse é provavelmente o principal destaque. O modelo pode não ser o melhor da categoria, mas parece utilizável o suficiente para ajudar um atacante a avançar em etapas importantes de uma operação cibernética.

O segundo teste principal, chamado The Last Ones, simula um ataque a uma rede corporativa distribuída em quatro sub-redes e cerca de 20 hosts, com um caminho de ataque de 32 etapas. O texto de origem diz que um especialista humano precisaria de cerca de 20 horas para concluí-lo. Apenas um pequeno grupo de modelos consegue resolver o cenário de fato. O trecho fornecido ao Developments Today é interrompido antes de apresentar a pontuação comparativa completa de todos os participantes, mas afirma que o Kimi K3 avançou cerca da metade do caminho de ataque simulado. Isso reforça a mesma conclusão geral vista no ExploitBench: o Kimi K3 ainda não está entre os sistemas mais capazes, mas já consegue avançar um fluxo de trabalho ofensivo realista o bastante para merecer atenção séria.

Essa nuance é importante. O debate público sobre risco cibernético de IA muitas vezes oscila entre extremos, ora assumindo que qualquer déficit em relação à fronteira significa pouco perigo, ora assumindo que qualquer ajuda demonstrada equivale à paridade com os melhores modelos. Os dados apresentados aqui não sustentam nenhuma dessas visões. O Kimi K3 está significativamente atrás da fronteira dos EUA, mas é capaz o bastante para reduzir o esforço de usuários maliciosos em tarefas selecionadas.

O que os achados implicam sobre a corrida de modelos

O The Decoder também observa que os resultados do Kimi K3 são consistentes com alegações de que a Moonshot AI destilou modelos mais avançados. O texto fornecido não estabelece essa afirmação como fato, e os benchmarks por si só não podem provar como o modelo foi treinado. Mas a referência é notável porque enquadra o Kimi K3 tanto como uma história de desempenho quanto como uma história de processo de desenvolvimento. Se um modelo construído por destilação ou métodos semelhantes consegue alcançar esse nível de utilidade cibernética, o caminho para uma assistência ofensiva capaz pode se tornar mais barato e mais rápido para um grupo mais amplo de atores.

Ao mesmo tempo, os números indicam que a destilação, se esteve envolvida, não apagou a diferença de desempenho para os melhores modelos dos EUA. O Kimi K3 estabeleceu um novo marco entre os modelos de peso aberto nesta avaliação, segundo o texto de origem, mas os sistemas americanos mais fortes ainda mantiveram ampla vantagem em conclusão de exploits e em atingir o nível mais grave de controle. Isso torna o quadro competitivo menos uma questão de quem já está igual e mais uma questão de quão rápido a faixa atrás está melhorando.

Para os governos, o relatório aumenta a pressão para ir além da linguagem genérica de segurança em IA e focar em superfícies de risco concretas. A capacidade cibernética é mais fácil de testar do que muitos danos especulativos porque pode ser avaliada com tarefas definidas, ambientes simulados e resultados mensuráveis. A avaliação do Kimi K3 mostra o valor dessa abordagem. Em vez de debater capacidade em abstrato, os institutos usaram testes aplicados para determinar se um modelo pode ajudar materialmente a escrever exploits e fluxos de intrusão.

Por que isso importa agora

A questão política mais ampla não se limita a um único modelo chinês. O resultado mostra que sistemas abertos ou mais amplamente acessíveis podem acumular competência ofensiva suficiente para se tornarem úteis mesmo antes de se aproximarem do desempenho de fronteira. Isso levanta perguntas difíceis sobre estratégias de lançamento, salvaguardas e monitoramento pós-deploy. Um modelo não precisa ser o melhor do mundo para alterar o cenário de ameaças se for fácil de acessar e estiver disposto a obedecer.

Por enquanto, as evidências fornecidas apontam para uma conclusão em camadas. O Kimi K3 tem desempenho cibernético melhor do que os modelos chineses de peso aberto comparáveis anteriores representados aqui pelo GLM-5.2. Ainda está muito atrás dos principais sistemas de fronteira dos EUA nas tarefas de exploit mais difíceis. E, apesar dessa diferença, ainda consegue ajudar em atividades cibernéticas ofensivas sem resistência significativa. Esses três pontos juntos é que tornam a avaliação relevante. Eles mostram progresso, assimetria persistente e uma preocupação real de segurança ao mesmo tempo.

• O Kimi K3 marcou 32,2% no ExploitBench, contra 76,2% dos principais modelos dos EUA.
• O modelo não obteve Execução Arbitrária de Código em nenhuma das 41 tarefas do benchmark.
• A avaliação concluiu que o Kimi K3 ajudou no desenvolvimento de exploits e em operações cibernéticas ofensivas sem resistência significativa.
• Os achados sugerem que os modelos chineses estão melhorando em tarefas cibernéticas, mas ainda ficam atrás da fronteira dos EUA.

Este artigo é baseado na cobertura do The Decoder. Leia o artigo original.