Политики всего мира пытаются разобраться в новых возможностях и опасностях, которые таит в себе искусственный интеллект. Среди всех возможных воздействий, которые может оказать на мир искусственный интеллект (ИИ), одним из самых значимых будет его интеграция в систему управления ядерным оружием. Неправильное использование ИИ при проведении испытаний ядерного оружия может привести к катастрофическим последствиям. При правильном использовании ИИ, он может снизить риск ядерной угрозы за счет улучшения раннего предупреждения и обнаружения, а также повышения способности к нанесению ответного удара, что в свою очередь укрепит сдерживание. Чтобы в полной мере воспользоваться этими преимуществами, системы должны учитывать сильные и слабые стороны людей и машин. Успешные объединенные когнитивные системы «человек-машина» будут сочетать точность и скорость автоматизации с функциональностью человеческих рассуждений и избегать ошибок в работе оборудования и передаче процесса принятия решений машинам. Поскольку внедрение ИИ находится на ранней стадии, у Соединенных Штатов есть возможность сделать мир безопаснее, более четко изложив свою политику, добившись широкого международного согласия и выступив в качестве законодателя нормативных тенденций.
Соединенные Штаты были максимально открыты и ориентированы на развитие своей политики в отношении военного ИИ и автономных систем, обнародовав свою политику в отношении применения автономных систем вооружения в 2012 году, приняв этические принципы для использования военного ИИ в 2020 году и обновив свою политику в отношении применения автономных систем вооружения в 2023 году. В обзоре ядерной политики 2022 года министерство официально и недвусмысленно заявило, что при использовании ядерного оружия оно всегда будет держать людей «в курсе событий». В ноябре 2023 года более 40 стран присоединились к Соединенным Штатам и одобрили политическую декларацию об ответственном военном использовании ИИ. В число государств, поддержавших декларацию, вошли не только союзники США, но и страны Африки, Юго-Восточной Азии и Латинской Америки.
Исходя из достигнутых успехов, Соединенные Штаты могут инициировать заключения международных соглашений с другими ядерными державами, чтобы снизить риски интеграции ИИ в ядерные системы или размещения ядерного оружия на борту беспилотных аппаратов. Великобритания и Франция выпустили совместное заявление с Соединенными Штатами в 2022 году, в котором согласились с необходимостью «сохранять человеческий контроль» над ядерными запусками. В идеале это могло бы стать отправной точкой для принятия обязательств постоянными членами Совета Безопасности ООН, если бы удалось убедить Россию и Китай согласиться с этим принципом. Даже если они не захотят согласиться, Соединенные Штаты должны продолжать совершенствовать свою собственную политику, чтобы устранить критические пробелы, и работать с другими ядерными государствами над укреплением их обязательств в качестве временной меры и способа достижения международного консенсуса по этому вопросу.
Опасности автоматизации
По мере того как военные все активнее внедряют искусственный интеллект и автоматизацию, возникает чрезвычайная необходимость в уточнении того, как эти технологии должны использоваться в ядерных разработках. Без официальных соглашений государства рискуют получить постепенную тенденцию к ползучей автоматизации, которая может подорвать ядерную стабильность. Хотя политики по понятным причинам не хотят вводить ограничения на развивающиеся технологии, чтобы не отказаться от ценного будущего потенциала, американским чиновникам не следует успокаиваться, полагая, что другие государства будут ответственно подходить к использованию ИИ и автоматизации в области ядерных технологий. Такие примеры, как российская система «Периметр» — «мертвая рука» и автономный подводный беспилотник с ядерным оружием «Посейдон», показывают, что другие страны могут воспринимать эти риски иначе, чем Соединенные Штаты, и могут быть готовы пойти на риск, который американские политики сочли бы неприемлемым.
Существующие системы, такие как российский «Периметр», подчеркивают риски, связанные с внедрением государствами автоматики в ядерные системы. Как сообщается, «Периметр» — это система, созданная СССР в 1980-х годах для обеспечения безопасности на случай уничтожения советского руководства в результате обезглавливающего удара. Сообщается, что «Периметр» оснащен сетью датчиков, определяющих, имело ли место ядерный удар. Если эти датчики срабатывают во время активации «Периметра», система будет ждать сигнала от высшего военного командования в течение заранее определенного периода времени.
Если сигнала из штаба не поступает, что объясняется уничтожением советского/российского руководства, то «Периметр» обходит обычную командную систему и передает полномочия по запуску ядерной ракеты непосредственно дежурному офицеру, занимающему относительно младший пост. Высокопоставленные российские чиновники заявили, что система все еще функционирует, отметив в 2011 году, что она «готова к бою», а в 2018 году — что она была «усовершенствована».
Система была разработана для того, чтобы уменьшить нагрузку на советских лидеров, связанную с поспешным принятием решения о ядерном ударе в условиях дефицита времени и неполной информации. Теоретически советские и российские лидеры могли бы потратить больше времени на размышления, зная, что существует безотказная гарантия возмездия, если Соединенным Штатам удастся нанести обезглавливающий удар. Ценой этого, тем не менее, будет создание системы, которая создает риски облегчения путей ядерного уничтожения в случае аварии.
Допуская автономные системы к принятию решений о ядерном запуске, мы рискуем снизить безопасность и увеличить опасность ядерных катастроф. Инцидент со Станиславом Петровым — наглядный пример опасности автоматизации принятия ядерных решений. В 1983 году советская система раннего предупреждения сообщила, что Соединенные Штаты запустили несколько межконтинентальных баллистических ракет. Подполковник Станислав Петров, дежурный офицер в то время, заподозрил, что в системе произошел сбой, поскольку количество запущенных ракет было подозрительно мало, а сами ракеты не были обнаружены радарами раннего предупреждения. Петров сообщил об этом (правильно) как о неисправности, а не об атаке. ИИ и автономным системам часто не хватает контекстного понимания, которое есть у человека и которое использовал Петров, чтобы понять, что сообщение о запуске ракеты было ложной тревогой. Без человеческого суждения на критических этапах ядерных операций автоматизированные системы могут совершать ошибки или повышать уровень ложной тревоги, увеличивая ядерный риск.
Более того, простого присутствия человека в системе недостаточно для обеспечения эффективного принятия решений. Люди-операторы часто становятся жертвами предвзятости систем автоматизации — состояния, при котором люди не доверяют системам автоматизации и передают свои суждения машинам. Аварии с самоуправляемыми автомобилями демонстрируют опасность чрезмерного доверия людей к автоматике, и военный персонал не застрахован от этого явления. Чтобы обеспечить когнитивную вовлеченность людей в процесс принятия решений, военным необходимо учитывать не только саму автоматику, но и психологию человека, а также интерфейсы «человек-машина».
В более широком смысле, при проектировании систем «человек-машина» необходимо осознанно определять соответствующие роли людей и машин. Машины зачастую лучше справляются с точностью и скоростью, в то время как люди лучше понимают более широкий контекст и применяют суждения. Слишком часто люди-операторы заполняют пробелы в том, что не может сделать автоматика, выступая в качестве резервных или отказоустойчивых систем в тех случаях, когда автономные системы не могут справиться. Тем не менее такая модель часто не учитывает реалии человеческой психологии. Даже если люди-операторы не становятся жертвами предвзятого отношения к автоматизированным системам, предположить, что человек может часами пассивно наблюдать за выполнением задачи машиной, будь то самоуправляемый автомобиль или военная система вооружения, а затем внезапно и правильно определить проблему, когда автоматика не справляется, и перейти к действиям, чтобы взять управление на себя, нереально. И трагические аварии со сложными высокоавтоматизированными системами, такие как крушение самолета 447 авиакомпании Air France в 2009 году и крушения 737 MAX в 2018 и 2019 годах, демонстрируют важность учитывать факторы динамического взаимодействия между автоматизированными системами и людьми-операторами.
В вооруженных силах США также случались трагические инциденты с автоматизированными системами, даже если в них участвовали люди. В 2003 году системы противовоздушной и противоракетной обороны армии США Patriot сбили два дружественных самолета во время начальной фазы войны в Ираке. В обоих инцидентах люди были в курсе событий. Однако сложное сочетание человеческих и технических ошибок привело к тому, что люди-операторы не до конца понимали сложные, высокоавтоматизированные системы, за которые они отвечали, и не могли эффективно управлять ими.
Военным необходимо разработать руководство по проектированию систем, обучению операторов, доктрине и оперативным процедурам, чтобы гарантировать, что люди в системе — это не просто бездумные винтики в машине, а реально осуществляющие человеческие суждения. Разработка конкретного руководства для разработчиков и операторов оружия наиболее важна в ядерной сфере, где последствия катастрофы могут быть очень серьезными.
Разъяснение руководящих принципов министерства обороны
Недавняя политика и заявления о роли автономности и ИИ в ядерных операциях — это важный первый шаг в создании столь необходимого руководства, но необходимы дополнительные разъяснения. В обзоре ядерной политики 2022 года говорится следующее: «Во всех случаях Соединенные Штаты будут держать людей «в курсе» всех действий, имеющих решающее значение для информирования и исполнения решений президента о запуске и прекращении применения ядерного оружия». Великобритания приняла аналогичную политику в 2022 году, заявив в своей оборонной стратегии искусственного интеллекта: «Мы обеспечим, чтобы — независимо от использования ИИ в наших стратегических системах — политический контроль человека над нашим ядерным оружием сохранялся в любое время».
Это первые официальные заявления об использовании ИИ в ядерном командовании и управлении, имеющие историческое значение. Какие действия являются «критическими для информирования и исполнения решений президента»? Состоят ли они только из действий, непосредственно окружающих президента, или они также включают действия дальше по цепочке командования до и после президентского решения?
Например, допустимо ли, чтобы человек на основе алгоритма дал президенту рекомендацию о проведении ядерной атаки? Или человек должен участвовать в понимании данных и выносить собственное человеческое суждение?
Американские военные уже используют ИИ для обработки информации, например спутниковых снимков и видеозаписей с беспилотников. Предположительно, ИИ также будет использоваться для анализа разведывательных данных, которые могут помочь в принятии решений о применении ядерного оружия. При каких обстоятельствах ИИ уместен и полезен для ядерной стабильности? Являются ли некоторые приложения и способы использования ИИ более ценными, чем другие?
При использовании ИИ какие меры предосторожности должны быть приняты для защиты от ошибок, сбоев или манипуляций системами ИИ? Например, в настоящее время Соединенные Штаты используют механизм «двойной феноменологии» для обеспечения того, чтобы потенциальная ракетная атака подтверждалась двумя независимыми методами обнаружения, такими как спутники и наземные радары. Должны ли Соединенные Штаты принять метод двойного алгоритма при любом использовании ИИ в ядерных операциях, обеспечивая наличие двух независимых систем ИИ, обученных на разных наборах данных с разными алгоритмами в качестве защиты от ложных атак или ненадежных систем ИИ?
Когда системы ИИ используются для обработки информации, как эта информация должна быть представлена операторам-людям? Например, если военные используют алгоритм, обученный обнаруживать признаки заправки ракеты топливом, эта информация может быть по-разному интерпретирована человеком, если система ИИ сообщит «заправка», а не «подготовка к запуску». «Заправка» — это более точное и достоверное описание того, что на самом деле обнаруживает система ИИ, и может побудить человека-аналитика к поиску дополнительной информации, в то время как «подготовка к запуску» — это вывод, который может быть или не быть уместным в зависимости от более широкого контекста.
Когда используются системы рекомендаций, основанные на алгоритмах, какой объем исходных данных должен непосредственно просматривать человек? Достаточно ли оператору видеть только заключение алгоритма, или он должен иметь доступ к исходным данным, которые поддерживают рекомендации алгоритма?
Наконец, какая степень вовлеченности ожидается от человека в процесс? Должен ли человек просто присутствовать в качестве запасного варианта на случай сбоя в работе ИИ? Или человек должен быть вовлечен в процесс анализа информации, выработки действий и рекомендаций? Являются ли некоторые из этих этапов более важными, чем другие, для участия человека?
Это важнейшие вопросы, которые необходимо решить Соединенным Штатам, стремящимся использовать преимущества ИИ в ядерных операциях и при этом соблюдающим политику «человек в цикле». Чем быстрее Министерство обороны сможет прояснить ответы на эти вопросы, тем больше оно сможет ускорить внедрение ИИ, чтобы он был надежным и отвечал необходимым стандартам надежности для проведения испытаний в ядерной сфере.
Уточнение этих вопросов также не ограничивает подход Соединенных Штатов к ИИ. Управление всегда может быть изменено с течением времени по мере развития технологии. Но отсутствие четких указаний чревато тем, что мы упустим ценные возможности использования ИИ или, что еще хуже, внедрим ИИ таким образом, что это может подорвать ядерную безопасность и фактор сдерживания.
Системы «мертвой руки»
Разъясняя свою политику «человек в цепи», Соединенные Штаты должны взять на себя твердое обязательство отказаться от систем ядерного запуска «мертвой руки» или систем с постоянным приказом на запуск, включающих в себя алгоритмические компоненты. Системы «мертвой руки», подобные российскому «Периметру», по видимому должны быть полностью исключены из действующей политики Министерства обороны. Однако Соединенные Штаты должны четко заявить, что не будут создавать такие системы, учитывая их опасность.
Несмотря на их опасность, некоторые американские аналитики считают, что Соединенным Штатам следует принять на вооружение систему «мертвой руки» для реагирования на появление новых технологий, таких как ИИ, гиперзвуковые и современные крылатые ракеты. Однако существуют и более безопасные методы реагирования на эти угрозы. Вместо того чтобы ставить будущее человечества в зависимость от алгоритма, Соединенные Штаты должны укрепить свои силы сдерживания ответного удара в ответ на новые угрозы.
Некоторые члены Конгресса США даже выразили желание прописать это требование в законе. В апреле 2023 года двухпартийная группа представителей представила закон о блокировании запуска ядерного оружия автономным искусственным интеллектом, который запрещает финансирование любой системы, запускающей ядерное оружие без «существенного контроля со стороны человека». Существует прецедент для законного требования того, что стратегические системы должны находиться под контролем человека. В 1980-х годах, во время разработки Стратегической оборонной инициативы (также известной как «Звездные войны»), Конгресс принял закон, требующий «принятия решения человека на соответствующем уровне власти» для стратегических систем противоракетной обороны. Этот закон может послужить образцом для аналогичного законодательного требования в отношении использования ядерного оружия. Одно из преимуществ законодательного требования заключается в том, что оно гарантирует, что такая важная политика не может быть отменена будущей администрацией или руководством Пентагона, которое относится более терпимо к риску, без санкции Конгресса.
Ядерное оружие и беспилотные летательные аппараты
Соединенные Штаты должны аналогичным образом внести изменения в свою политику в отношении размещения ядерного оружия на беспилотных аппаратах. Соединенные Штаты создают новый стратегический бомбардировщик B-21 с ядерным вооружением, который в будущем сможет выполнять беспилотные полеты, и разрабатывают большие подводные беспилотные аппараты, которые могли бы нести боевую нагрузку. Американские военные заявили, что не очень-то хотят размещать ядерное оружие на борту беспилотных платформ. В 2016 году в то время командующий глобальными силами командования ВВС генерал Робин Рэнд отметил, что при перевозке ядерного оружия на B-21 всегда будет присутствовать экипаж: «Если бы вам пришлось внедрить меня в цепочку мне бы очень понравилось, когда человек находится в цепи; пилот, женщина в цепи, особенно когда мы выполняем миссию двойного назначения с ядерным оружием». Мнение генерала Рэнда могут поддерживать старшие офицеры, но оно не является официальной позицией США. Соединенные Штаты должны принять официальную политику, согласно которой ядерное оружие не будет размещаться на борту воздушных беспилотных самолетов без экипажа. Развитие этой политики может помочь разработчикам оружия и службам определить соответствующую роль беспилотных самолетов в ядерных операциях, поскольку Министерство обороны разрабатывает более крупные беспилотные и комбинированные экипажные платформы.
Ядерное оружие уже давно размещается на беспилотных летательных аппаратах, таких как баллистические и крылатые ракеты, но размещение ядерного оружия на беспилотных самолетах, таких как бомбардировщик, имеет кардинальные отличия. Решение человека о запуске ядерной ракеты — это решение о нанесении ядерного удара. Человек может отправить на патрулирование беспилотный самолет с двусторонней связью, например беспилотный бомбардировщик или подводный автономный аппарат. В этом случае решение человека о запуске беспилотника с ядерным оружием еще не будет решением о нанесении ядерного удара. Вместо этого беспилотник может быть отправлен на патрулирование в качестве сигнала к эскалации или для подготовки к нанесению ядерного удара в случае последующего решения о его нанесении. При этом огромная доля ответственности будет возложена на каналы связи и бортовую автоматику беспилотника, которые могут оказаться ненадежными.
Американские военные уже теряли контроль над беспилотниками. В 2017 году небольшой тактический армейский беспилотник пролетел более 600 миль от южной Аризоны до Денвера после того, как армейские операторы потеряли связь. В 2011 году американский стелс-беспилотник RQ-170, обладающий высокой степенью секретности, оказался в руках иранцев после того, как американские операторы потеряли с ним связь над Афганистаном. Потеря контроля над беспилотником с ядерным оружием может привести к попаданию ядерного оружия в чужие руки или, в худшем случае, к эскалации ядерного кризиса. Единственный способ сохранить ядерную стабильность — прямой, физический контроль человека над ядерным оружием до момента принятия решения о нанесении ядерного удара.
Хотя американские военные, скорее всего, не захотят размещать ядерное оружие на борту беспилотного самолета или подводного аппарата, Россия уже разрабатывает подобную систему. Подводный автономный беспилотный аппарат «Посейдон» или «Статус-6», как сообщается, предназначен для нанесения ответного или последуещего за ним ядерного удара по США. Как Россия собирается использовать это оружие, пока неясно — и со временем это может измениться, — но в принципе такая платформа без экипажа, как «Посейдон», может быть отправлена на патрулирование, что чревато рисками попасть в опасную аварию. Другие ядерные державы могут увидеть ценность в беспилотных самолетах с ядерным оружием или подводных аппаратах по мере развития этих технологий.
Соединенные Штаты должны развить свой нынешний импульс в формировании глобальных норм использования военных ИИ и совместно с другими странами разъяснить опасность беспилотников с ядерным оружием. В качестве первого шага Министерство обороны США должно четко заявить в качестве официальной политики, что оно не будет размещать ядерное оружие на двухсторонних, восстанавливаемых платформах без экипажа, таких как бомбардировщики или подводные аппараты. Временами Соединенные Штаты отказывались от опасного оружия в других областях, например от противоспутникового оружия, которое может способствовать появлению мусора, и публично заявляли о его опасности. Подобное разъяснение опасностей беспилотников с ядерным оружием могло бы помочь сформировать поведение других ядерных держав и, возможно, предотвратить их принятие на вооружение.
Выводы
Необходимо, чтобы ядерные державы подходили к интеграции ИИ и автономности в свои ядерные операции продуманно и взвешенно. Некоторые приложения, такие как использование ИИ для снижения риска внезапного нападения, могут повысить стабильность. Другие применения, такие как системы «мертвой руки», могут быть опасными и дестабилизирующими. Российские системы «Периметр» и «Посейдон» свидетельствуют о том, что другие страны могут быть готовы пойти на риск, связанный с автоматизацией и автономностью, который американские лидеры сочли бы безответственным. Соединенным Штатам необходимо развивать текущую динамику, чтобы детализировать свою собственную политику и работать с другими ядерными государствами для достижения международного соглашения по созданию защитных ограждений для ИИ в ядерных операциях. Слухи об американо-китайском соглашении по ИИ в ядерном командовании и управлении на встрече президента Джозефа Байдена и генсека Си Цзиньпина намекают на возможность объединения усилий ядерных держав для защиты от рисков превращения ИИ в самое опасное оружие человечества. Соединенные Штаты должны воспользоваться моментом и не упустить эту возможность для создания более безопасного и стабильного будущего.
Майкл Депп — научный сотрудник проекта безопасности и стабильности ИИ в Центре новой американской безопасности (CNAS). Пол Шарр — исполнительный вице-президент и директор по исследованиям CNAS. Он является отмеченным наградами автором книги «Четыре поля битвы: сила в эпоху искусственного интеллекта». Источник: Artificial Intelligence And Nuclear Stability
