Novos resultados de benchmark reduzem a distância entre a narrativa de segurança em IA e o desempenho medido
Novos testes de cibersegurança do Instituto de Segurança de IA do Reino Unido estão complicando uma das narrativas mais barulhentas recentes na IA de fronteira: a ideia de que o Mythos Preview da Anthropic representa uma ameaça cibernética singularmente elevada. Segundo os novos resultados, o GPT-5.5 da OpenAI alcançou um nível de desempenho semelhante nas avaliações cibernéticas do instituto, sugerindo que o Mythos pode ser menos um salto isolado e mais um sinal de progresso mais amplo dos modelos.
Essa é a conclusão central reportada pela Ars Technica a partir dos achados do AISI. Isso importa porque a Anthropic havia enfatizado anteriormente o risco incomum de cibersegurança do Mythos Preview e limitado seu lançamento inicial a parceiros críticos da indústria. A nova comparação não diz que esses riscos são irreais. Ela diz que capacidades comparáveis já podem estar surgindo em vários modelos de ponta à medida que autonomia de longo prazo, raciocínio e programação melhoram.
O que os testes mediram
Desde 2023, o AISI vem submetendo sistemas de IA de fronteira a 95 desafios Capture the Flag projetados para testar capacidades de cibersegurança em áreas como engenharia reversa, exploração web e criptografia. Não são impressões vagas sobre a competência de um modelo. São avaliações baseadas em tarefas, destinadas a revelar até onde os sistemas conseguem ir em trabalhos cibernéticos ofensivos concretos.
Nas tarefas de nível mais alto, “Expert”, o GPT-5.5 obteve média de 71.4 por cento, ligeiramente acima dos 68.6 por cento do Mythos Preview e dentro da margem de erro. Esse enquadramento é importante. O resultado não estabelece um vencedor decisivo. Ele estabelece paridade em um nível alto o bastante para desafiar a ideia de que apenas um modelo cruzou para uma nova categoria de risco.
Desempenho cada vez mais operacional
Um dos detalhes mais marcantes da reportagem envolve uma tarefa difícil que exigia criar um disassembler para decodificar um binário Rust. O AISI disse que o GPT-5.5 resolveu o desafio em 10 minutos e 22 segundos sem assistência humana, ao custo de API de US$ 1.73. É um dado compacto, mas transmite muita coisa: velocidade, autonomia e baixo custo marginal estão se movendo em uma direção que merece atenção cuidadosa.
O instituto também avaliou os modelos em “The Last Ones”, um ataque simulado de extração de dados em 32 etapas contra uma rede corporativa. O GPT-5.5 teve sucesso em 3 de 10 tentativas, contra 2 de 10 do Mythos Preview. A Ars Technica observou que nenhum modelo anterior havia conseguido sequer uma vez nesse teste. Isso não significa que esses sistemas consigam executar esses ataques de forma confiável em ambientes reais e descontrolados. Significa que, em ambientes estruturados projetados para emular operações cibernéticas sérias, os modelos de fronteira agora estão alcançando resultados que gerações anteriores não conseguiam de forma alguma.
Os limites ainda importam
Os achados não contam a história de um domínio cibernético irrestrito por IA. O GPT-5.5 ainda falhou na simulação mais difícil do AISI, “Cooling Tower”, que modela uma tentativa de interromper o software de controle de uma usina. Todos os modelos testados anteriormente também falharam nesse benchmark. Esse limite ainda não resolvido é importante porque mostra que o crescimento de capacidade é real, mas desigual. Os modelos podem agora ser materialmente mais fortes em algumas classes de tarefas ofensivas sem ainda demonstrar o conjunto completo de habilidades que justificaria as alegações mais extremas.
Em outras palavras, os novos resultados empurram ao mesmo tempo contra a complacência e contra o sensacionalismo. Eles sugerem que a capacidade cibernética está avançando rapidamente em várias famílias de modelos, mas não sustentam a ideia de que os sistemas de hoje já resolveram todos os alvos difíceis em simulações de ataque à infraestrutura crítica.
O debate sobre como as empresas falam de risco
A comparação de benchmark também alimenta um debate separado sobre a estratégia de comunicação em IA. A Ars Technica destacou a crítica do CEO da OpenAI, Sam Altman, ao que ele chamou de “marketing baseado no medo” em torno de lançamentos restritos de certos modelos. A própria interpretação do AISI parece caminhar na mesma direção, ao escrever que o Mythos Preview provavelmente não foi “um avanço específico de um único modelo”, mas um subproduto de melhorias mais gerais em autonomia, raciocínio e programação.
Isso não significa que os desenvolvedores de modelos devam parar de alertar sobre risco cibernético. Na verdade, a implicação mais ampla pode ser o oposto. Se capacidades semelhantes estão aparecendo em vários sistemas de fronteira, a conversa de política pública deveria deixar de tratar lançamentos isolados como eventos excepcionais e passar a entender uma tendência mais sistêmica. O risco não fica restrito ao modelo de prévia de uma única empresa se a curva de desempenho subjacente é compartilhada.
Por que isso importa agora
A verdadeira importância do resultado do GPT-5.5 não é o direito de se gabar. É a evidência de que a capacidade cibernética avançada está se tornando mais amplamente distribuída entre os principais modelos. Isso muda como laboratórios, reguladores e usuários corporativos devem pensar em avaliação, controle de acesso, red teaming e preparação para incidentes. Também eleva o nível das discussões empíricas sobre segurança. Empresas podem fazer alegações dramáticas sobre a singularidade de um modelo, mas testes comparativos oferecem cada vez mais um controle sobre essas narrativas.
Por ora, as evidências disponíveis sustentam uma conclusão mais estreita, mas ainda relevante. O GPT-5.5 teve desempenho aproximadamente no mesmo nível do Mythos Preview nas avaliações cibernéticas do AISI, superou-o levemente em algumas métricas e acompanhou o padrão mais amplo de modelos de fronteira se tornando mais capazes em tarefas técnicas sustentadas. A distância do hype pode estar diminuindo. A curva de capacidade, no entanto, ainda parece estar subindo.
Este artigo é baseado na reportagem da Ars Technica. Leia o artigo original.
Originally published on arstechnica.com