Padronizando a IA em toda a empresa de defesa

O Pentágono está realizando um esforço coordenado para colocar sua crescente lista de provedores de inteligência artificial no que os funcionários descrevem como "a mesma linha de base", estabelecendo padrões comuns para como os sistemas de IA são desenvolvidos, testados, implantados e governados dentro do militar. A iniciativa, descrita pelo chefe de pesquisa do Departamento de Defesa, reflete os desafios de gerenciar um ecossistema de IA em expansão que abrange dezenas de empresas, múltiplos serviços militares e uma ampla gama de aplicações, desde otimização de logística até suporte à tomada de decisões em campo de batalha.

À medida que o DOD acelerou sua adoção de IA ao longo dos últimos anos, contratou uma variedade diversa de provedores de tecnologia, desde grandes contratistas de defesa como Lockheed Martin e Raytheon até empresas do Vale do Silício como Palantir e Anduril até startups menores especializadas em IA. Cada uma dessas empresas traz suas próprias práticas de desenvolvimento, metodologias de teste e abordagens de segurança e ética. O resultado é um cenário de IA dentro do militar que é tecnicamente heterogêneo e, em alguns casos, difícil de governar de forma consistente.

O que significa "a mesma linha de base" na prática

O esforço de padronização abrange várias dimensões do desenvolvimento e implantação de IA:

  • Testes e avaliação: O DOD quer que todos os provedores de IA usem métodos comparáveis para testar o desempenho, confiabilidade e modos de falha de seus sistemas. Isto inclui tarefas de referência padronizadas, métricas de avaliação comuns e infraestrutura de teste compartilhada que permite comparar diferentes sistemas em igualdade de condições.
  • Segurança e robustez: Os sistemas de IA implantados em contextos militares devem atender aos padrões mínimos de resiliência contra ataques adversários, degradação elegante quando as entradas caem fora das distribuições de treinamento e comportamento previsível sob as condições extremas que caracterizam as operações militares.
  • Governança de dados: A iniciativa inclui padrões para como dados de treinamento são obtidos, rotulados, armazenados e compartilhados entre provedores. A qualidade dos dados é um determinante crítico do desempenho do sistema de IA, e práticas inconsistentes de dados entre provedores podem levar a resultados inconsistentes.
  • Interoperabilidade: Os sistemas de IA militar cada vez mais precisam se comunicar entre si e com a infraestrutura de comando e controle existente. Padrões de interface comuns e formatos de dados são essenciais para habilitar essa integração.
  • Documentação e auditabilidade: Os provedores deverão manter registros detalhados de como seus sistemas foram treinados, quais dados foram usados, quais testes foram realizados e quais limitações foram identificadas. Esta documentação é crucial tanto para confiança operacional quanto para responsabilidade legal.

A dimensão ética

Um dos aspectos mais observados do esforço de padronização de IA do Pentágono é sua interseção com os princípios éticos de IA do departamento. O DOD adotou seus princípios de ética de IA em 2020, estabelecendo cinco compromissos: que os sistemas de IA devem ser responsáveis, equitativos, rastreáveis, confiáveis e controláveis. Estes princípios foram elogiados por alguns como um marco significativo para IA militar responsável e criticados por outros como muito vagos para restringir decisões reais de desenvolvimento e implantação.

O chefe de pesquisa do DOD enfatizou que o esforço de padronização é projetado para operacionalizar esses princípios, não substituí-los. Ao estabelecer padrões concretos para testes, documentação e segurança que todos os provedores devem cumprir, o departamento visa dar força prática aos seus compromissos éticos. A ideia é que princípios abstratos como "rastreabilidade" se tornem significativos quando traduzidos em requisitos específicos para registro, auditoria e explicação de decisões do sistema de IA.

Isso é particularmente importante conforme o militar se move em direção a aplicações de IA mais consequentes. Os sistemas de IA que otimizam a logística da cadeia de suprimentos levantam preocupações éticas diferentes das dos sistemas de IA que identificam alvos ou recomendam o uso da força. O esforço de padronização destina-se a garantir que a estrutura de governança se dimensione apropriadamente com os riscos da aplicação.

Desafios da padronização

Estabelecer padrões de IA comuns em toda a empresa de defesa é um desafio formidável por vários motivos. A tecnologia em si está evoluindo rapidamente, e os padrões apropriados hoje podem estar obsoletos em alguns anos. A diversidade de aplicações de IA dentro do militar significa que uma abordagem única não funcionará; os padrões para um sistema de processamento de linguagem natural que resume relatórios de inteligência necessariamente diferem dos padrões para um sistema de visão computacional que guia veículos autônomos.

Há também uma tensão entre padronização e inovação. A comunidade de IA de defesa cultivou deliberadamente um ecossistema diverso de provedores precisamente porque diferentes empresas trazem abordagens diferentes, e essa diversidade impulsiona a inovação. Padrões muito rígidos poderiam sufocar a experimentação que produz capacidades inovadoras, enquanto padrões muito soltos poderiam deixar de resolver os riscos reais da implantação de IA em contextos militares.

Navegar nessa tensão exigirá que o DOD adote uma estrutura de padrões rigorosa o suficiente para garantir segurança e responsabilidade, mas flexível o suficiente para acomodar o ritmo rápido do desenvolvimento de IA. Os funcionários sugerem que estão buscando uma abordagem em camadas, com requisitos de linha de base que se aplicam a todos os sistemas de IA e requisitos adicionais que aumentam com a sensibilidade e consequência da aplicação.

Resposta da indústria

A resposta da indústria de IA de defesa ao esforço de padronização foi genericamente positiva, embora não sem ressalvas. Grandes contratistas de defesa, acostumados com extensos requisitos regulatórios, tendem a acolher padrões claros porque reduzem a incerteza e proporcionam uma vantagem competitiva para empresas com recursos para cumprir. No entanto, startups menores expressaram preocupação de que requisitos de conformidade onerosos possam afetar desproporcionalmente empresas menores e desacelerar o ritmo da inovação.

O DOD indicou que está buscando contribuições da indústria sobre o desenvolvimento de sua estrutura de padrões, reconhecendo que padrões unilaterais de cima para baixo são menos prováveis de serem eficazes do que aqueles desenvolvidos colaborativamente. Vários grupos de trabalho da indústria foram convocados para fornecer feedback sobre metodologias de teste propostas, requisitos de documentação e parâmetros de segurança.

O resultado deste esforço de padronização terá implicações muito além da esfera militar. Como o maior consumidor único de tecnologia de IA nos Estados Unidos, as decisões de padrões do DOD influenciarão como as empresas de IA desenvolvem seus produtos e como a indústria tecnológica mais ampla aborda a segurança e governança de IA. Fazer isso corretamente é importante não apenas para a segurança nacional, mas para a trajetória do desenvolvimento de IA como um todo.

Este artigo é baseado em reportagem do Defense One. Leia o artigo original.