Стандартизация AI в оборонной сфере

Пентагон предпринимает согласованные усилия по приведению своего растущего набора поставщиков искусственного интеллекта к тому, что официальные лица называют "одним базовым уровнем", устанавливая общие стандарты для разработки, тестирования, развертывания и управления AI-системами в военной структуре. Инициатива, описанная руководителем исследований Министерства обороны, отражает трудности управления расширяющейся экосистемой AI, охватывающей десятки компаний, несколько военных служб и широкий спектр приложений от оптимизации логистики до поддержки принятия решений на поле боя.

По мере ускорения внедрения AI за последние несколько лет DOD заключил контракты с разнообразным набором поставщиков технологий, начиная от крупных оборонных подрядчиков, таких как Lockheed Martin и Raytheon, до компаний Кремниевой долины, таких как Palantir и Anduril, и заканчивая небольшими специализированными AI-стартапами. Каждая из этих компаний приносит свои собственные методы разработки, методологию тестирования и подходы к безопасности и этике. В результате ландшафт AI в военной сфере технически неоднороден и в некоторых случаях сложен для согласованного управления.

Что означает "один базовый уровень" на практике

Усилия по стандартизации охватывают несколько аспектов разработки и развертывания AI:

  • Тестирование и оценка: DOD хочет, чтобы все поставщики AI использовали сравнимые методы для тестирования производительности, надежности и режимов отказа своих систем. Это включает стандартизированные контрольные задачи, общие метрики оценки и общую инфраструктуру тестирования, которая позволяет сравнивать различные системы на равной основе.
  • Безопасность и устойчивость: AI-системы, развертываемые в военных условиях, должны соответствовать минимальным стандартам устойчивости к противодействующим атакам, плавной деградации при выходе входов за пределы обучающего распределения и предсказуемому поведению в экстремальных условиях, характерных для военных операций.
  • Управление данными: Инициатива включает стандарты для того, как данные обучения получаются, маркируются, хранятся и распределяются между поставщиками. Качество данных является критическим определяющим фактором производительности AI-систем, и несогласованные практики работы с данными между поставщиками могут привести к несогласованным результатам.
  • Взаимодействие: AI-системы военного назначения все чаще должны взаимодействовать друг с другом и с существующей инфраструктурой командования и управления. Общие стандарты интерфейсов и форматы данных необходимы для обеспечения такой интеграции.
  • Документирование и проверяемость: От поставщиков ожидается ведение подробных записей о том, как обучались их системы, какие данные использовались, какое тестирование проводилось и какие ограничения были выявлены. Эта документация имеет решающее значение как для оперативной уверенности, так и для юридической ответственности.

Этическое измерение

Одним из наиболее пристально отслеживаемых аспектов усилий Пентагона по стандартизации AI является его взаимосвязь с этическими принципами AI департамента. DOD принял принципы AI-этики в 2020 году, установив пять обязательств: системы AI должны быть ответственными, справедливыми, прослеживаемыми, надежными и управляемыми. Эти принципы были похвалены некоторыми как значительная база для ответственного военного AI и критикованы другими как слишком расплывчатые для ограничения реальных решений по разработке и развертыванию.

Руководитель исследований DOD подчеркнул, что усилия по стандартизации предназначены для реализации этих принципов, а не их замены. Устанавливая конкретные стандарты для тестирования, документирования и безопасности, которые должны соблюдать все поставщики, департамент стремится придать практическую силу своим этическим обязательствам. Идея состоит в том, что абстрактные принципы, такие как "прослеживаемость", становятся значимыми, когда они переводятся в конкретные требования к логированию, аудиту и объяснению решений AI-систем.

Это особенно важно по мере того, как вооруженные силы переходят к более значимым приложениям AI. AI-системы, оптимизирующие логистику цепи поставок, поднимают другие этические вопросы, чем AI-системы, которые определяют цели или рекомендуют применение силы. Усилия по стандартизации предназначены для обеспечения надлежащего масштабирования框架 управления в соответствии с важностью приложения.

Трудности стандартизации

Установление единых стандартов AI в оборонной сфере является серьезной задачей по нескольким причинам. Сама технология развивается быстро, и стандарты, приемлемые сегодня, могут устаревать за несколько лет. Разнообразие приложений AI в вооруженных силах означает, что универсальный подход вряд ли сработает; стандарты для системы обработки естественного языка, которая суммирует разведывательные отчеты, неизбежно отличаются от стандартов для системы компьютерного зрения, которая направляет автономные транспортные средства.

Существует также напряженность между стандартизацией и инновациями. Оборонное AI-сообщество намеренно создало разнообразную экосистему поставщиков, потому что разные компании приносят разные подходы, и это разнообразие способствует инновациям. Чрезмерно жесткие стандарты могут подавить эксперименты, которые приводят к прорывным возможностям, в то время как чрезмерно мягкие стандарты могут не решить реальные риски развертывания AI в военных условиях.

Преодоление этого напряжения требует, чтобы DOD принял структуру стандартов, которая достаточно строга для обеспечения безопасности и подотчетности, но достаточно гибка, чтобы соответствовать быстрым темпам развития AI. Официальные лица предполагают, что они преследуют многоуровневый подход, с базовыми требованиями, применяемыми ко всем AI-системам, и дополнительными требованиями, масштабируемыми в зависимости от чувствительности и значимости приложения.

Ответ индустрии

Ответ оборонной AI-индустрии на усилия по стандартизации был в целом положительным, хотя и с оговорками. Крупные оборонные подрядчики, привыкшие к обширным нормативным требованиям, как правило, приветствуют четкие стандарты, потому что они снижают неопределенность и обеспечивают конкурентное преимущество для компаний с ресурсами для соответствия требованиям. Однако небольшие стартапы выразили опасения, что обременительные требования соответствия могут непропорционально влиять на небольшие фирмы и замедлять темпы инноваций.

DOD указал, что она ищет мнение индустрии при разработке своей нормативно-правовой базы, признавая, что односторонние стандарты сверху вниз менее вероятны, чем совместно разработанные. Были созваны несколько рабочих групп промышленности для предоставления обратной связи по предлагаемым методологиям тестирования, требованиям документирования и эталонам безопасности.

Результат этих усилий по стандартизации будет иметь последствия за пределами военной сферы. Будучи крупнейшим потребителем AI-технологий в Соединенных Штатах, решения DOD по стандартам будут влиять на то, как AI-компании разрабатывают свои продукты, и на то, как более широкая технологическая индустрия подходит к безопасности и управлению AI. Правильное решение важно не только для национальной безопасности, но и для траектории развития AI в целом.

Статья основана на сообщениях Defense One. Прочитайте оригинальную статью.