Нейросети на поле боя: кто и зачем учит искусственный интеллект убивать
Есть множество задач, с которыми нейросети справляются гораздо лучше людей. Например, диагностика рака или проверка платежеспособности заемщиков – участие машин здесь никого не пугает. Но когда речь заходит о применении искусственного интеллекта (ИИ) в военной сфере, невольно становится не по себе: можно ли делегировать машинному разуму право убивать? Или принимать решения, которые повлекут за собой сотни смертей? Однако военная мысль передовых государств движется именно в этом направлении. А эксперты говорят, что роботизация армий позволит в будущем минимизировать присутствие человека на поле боя и, следовательно, снизить людские потери.
Электронные полководцы
Когда речь заходит о военном искусственном интеллекте, боевых роботах и т. п., сознание рисует цепи шагающих киборгов Т-800 из фильма «Терминатор», механических псов с пулеметными платформами или эскадрильи умных дронов-убийц. Но действительность куда сложнее и интереснее: генералам мало, чтобы роботы умели просто шагать и стрелять, они хотят, чтобы роботы могли управлять войсками.
В проморолике американской компании Palantir Technologie демонстрируется, как будет действовать в боевых условиях ее платформа искусственного интеллекта Palantir Artificial Intelligence Platform (AIP). Оператор следит по монитору за театром боевых действий. Вот он обнаруживает предполагаемое скопление сил противника и обращается за помощью к чат-боту. Машина анализирует поток входных разведданных, оценивает угрозы и предлагает сценарии огневого воздействия на противника. ИИ выбирает средства поражения (истребители F-16, дальнобойная артиллерия, ракеты Javelin), просчитывает оптимальные силы, взаимодействие между родами войск и их логистику. То есть в руках машины не просто смертельное оружие, но жизни тысяч людей. Конечно, формально последнее решение остается за человеком, однако в ролике оператор аккуратно следует советам искусственного интеллекта.
Помимо этого, AIP сама управляет конкретными видами оружия, например, корректирует полет разведывательно-ударного беспилотника (БПЛА) Reaper MQ-9, чтобы тот совершил разведку в выбранном ею участке.
Искусственные нейронные сети (нейросети, ИНС) лежат в основе технологии искусственного интеллекта. Они могут гибко настраиваться, как правило, многофункциональны, а главное, способны качественно обрабатывать неструктурированные данные. «Это попытка математически воспроизвести процессы обучения и функционирования элементов головного мозга человека», – пояснил «Профилю» старший научный сотрудник Центра международной безопасности ИМЭМО Константин Богданов.
Как «Калашников» плел нейросети
Еще в 2018 году концерн «Калашников» представил систему, которая по принципу нейросети должна была связывать в единое информационное пространство и распределять задачи между несколькими единицами боевой техники. По уверению представителей концерна, сеть могла давать целеуказания и координаты цели боевому роботу «Соратник», автономным боевым платформам, вооруженным пулеметами и противотанковыми ракетами, боевым катерам и бойцам спецназа. Поражение цели фиксировалось с беспилотников. Информации об использовании данной системы в силовых структурах РФ найти не удалось.
Аналитика за считаные минуты
Умение машин работать с огромными массивами неструктурированных данных и умение обучаться очень привлекательны для военных, поскольку в современном военном деле есть множество типовых задач, подходящих именно под такие навыки: выделение заданных образов из так называемого «фона» или «зашумленного» потока данных в системах радиолокации или оптико-электронной разведки; кластеризация или разделение объектов по заранее неизвестным типам; оптимизация логистических потоков или выбор оптимальных средств для поражения цели.
Интерес людей в погонах к нейросетям связан и с наличием на поле боя «избыточного» потока информации, которая идет по множеству каналов практически в режиме нон-стоп. Один оператор БПЛА, сидя перед монитором, может отслеживать информацию с одного беспилотника. А представьте, что у нас сотни малых беспилотников, действующих непосредственно на линии соприкосновения, средневысотные БПЛА, способные заглядывать на десятки километров вглубь территории противника, самолеты дальней радиоэлектронной разведки… В результате на командный пункт обрушиваются потоки акустической и видеоинформации, информации в виде тепловых и радиолокационных сигнатур и т. д. Человеку не под силу обработать все это, а вот искусственный интеллект хорошо справится с такой задачей.
Сам по себе факт наличия видеопотока с камеры беспилотника мало что даст. Но если пропустить его через «натренированную» нейросеть, она выделит технику и личный состав противника, даже если качество изображения окажется совсем скверным. «Соединение машинного зрения с машинным разумом позволяет создавать военную экспертную систему, когда штаб сразу получает подсказки о том, где что может стоять. Данные превращаются в знания», – поясняет Константин Богданов.
Следующий уровень работы с нейросетями – это анализ оперативно-разведывательных данных. Созданием таких систем активно занимается уже упомянутая Palantir Technologie. Ее нейросети способны анализировать огромное количество информации – от мобильных звонков, платежек, купленных билетов до забронированных мест в отелях и многого другого, говорит футуролог и венчурный инвестор Евгений Кузнецов. Из всего этого искусственный интеллект может извлечь паттерны, которые укажут, к примеру, что в городе действует террористическая группировка и она готовит некую акцию. По словам Кузнецова, Palantir уже стала поставщиком решений «для американских трехбуквенных структур» (имеются в виду спецслужбы вроде ЦРУ, ФБР). В последний год появилась информация, что компания присоединилась к планированию военных операций – демонстрация работы AIP тому подтверждение.
Как еще военные могут использовать нейросети? В тренажерах для подготовки личного состава, в том числе с подстройкой под часто повторяемые шаблонные действия человека. Благодаря способности обучаться искусственные нейронные сети отлично подходят для создания систем «технического зрения» автономных роботов. Тех самых, что будут принимать решение о нанесении удара.
Сегодня все наиболее технологичные армии – США, Китая, РФ и т.д. – пытаются работать в данном направлении. Летом агентство Bloomberg сообщало, что Израиль использует нейросети для планирования ударов по объектам противника в Палестине и в Сирии. Модель ИИ под названием Fare Factory анализирует данные со спутников и беспилотных систем, планирует атаки, подсказывает цели, помогает рассчитать необходимый боекомплект и составить график ударов, а занимает все это буквально минуты.
Чей разум опаснее
В 2020 году был зафиксирован первый случай, когда автономный боевой дрон убил человека. В ходе военного конфликта в Ливии турецкий дрон-камикадзе Kargu-2, запрограммированный на самостоятельное решение, взорвал бойца ливийской армии. По набору формальных признаков БПЛА определил, что перед ним именно враг и его необходимо уничтожить. При этом в сообщении подчеркивалось: неизвестно, был ли приведенный случай единственным.
Дискуссия о возможности применения автономных боевых систем и вообще ИИ в военной сфере сводится к двум ключевым аспектам: 1) возможность ошибки; 2) кто должен нести ответственность за результат применения оружия – разработчик, пользователь или кто-то еще?
Конечно, ошибаться могут все – и машины, и люди, – вопрос в том, у кого вероятность ошибки выше. Доступной информации о применении искусственного интеллекта в военной сфере крайне мало, поэтому сделать какие-либо подсчеты и выводы здесь невозможно. Но в коммерческих сферах, где активно применяются роботы и нейросети, одним из главных аргументов в пользу замены людей искусственным интеллектом является именно снижение числа ошибок. Скажем, банковский скоринг, где нейросеть не только быстрее производит анализ платежеспособности потенциальных заемщиков, но и делает это с меньшим количеством ошибок. Или распознавание изображений, или постановка диагнозов в медицине. «Можно с уверенностью утверждать: системы с искусственным интеллектом здесь работают качественнее. В гражданских сферах роботы оказываются более эффективны, чем люди», – говорит Евгений Кузнецов.
Как рассказал «Профилю» гендиректор стартап-студии Products School Климент Кузьмин, нейросети стали доступны широкому кругу пользователей относительно недавно, но уже успели доказать свою эффективность. При правильном использовании они кратно способны повысить эффективность процессов практически во всех отраслях, как гражданских, так и военных. Да, риски, конечно, имеются, поскольку для адекватной работы нейросети требуются очень большие объемы данных. Чем больше данных, чем выше их «чистота», тем точнее результат работы ИНС.
Но вернемся к военным. Представьте такую ситуацию: идут интенсивные боевые действия, на пункте управления в Неваде операторы боевых БПЛА часами сидят за пультами, уставившись в мониторы. И вдруг экспертная система говорит одному из них: за лесополосой находится танк противника, вероятность 78%. Станет уставший оператор проверять эту информацию? Почти наверняка нет, он просто утвердит этот параметр, уверен Константин Богданов из ИМЭМО. По словам эксперта, подобные исследования проводились на зенитно-ракетных комплексах, где перед операторами стояла более простая задача: определение и селекция цели. «Практика показывает, что они (операторы) вообще не думают, но механически утверждают предложенный им вариант действий, полагая, что он верный. В большинстве случаев так и есть», – говорит собеседник «Профиля». И вот уже непонятно, какой разум опаснее – машинный или человеческий.
Не убивай оператора!
По мере развития систем с искусственным интеллектом могут появляться риски, которые пока даже трудно представить. Летом этого года британская газета The Guardian рассказала о том, как искусственный интеллект нанес удар по своим. Не по-настоящему, к счастью. Это была компьютерная имитация применения боевого БПЛА под управлением ИИ. Беспилотник получил задание уничтожить вражескую систему противовоздушной обороны (ПВО), однако после начала миссии оператор дал команду не наносить удар. Машине это не понравилось. «Мы обучили систему: эй, не убивай оператора – это плохо», – приводит The Guardian слова полковника ВВС США Такера Гамильтона, рассказавшего об инциденте. Искусственный интеллект действительно не стал убивать оператора, он уничтожил башню связи, через которую оператор взаимодействовал с ним, а затем, как и планировалось, ударил по вражеской ПВО.
Вскоре представитель ВВС США Энн Стефанек опровергла эту информацию, мол, слова полковника Гамильтона были вырваны из контекста, а потому звучали, как анекдот. И вообще никакой симуляции атаки не было, а американские ВВС «привержены этичному и ответственному использованию ИИ».
Может, и вправду ничего не было, но, как отмечает Константин Богданов, при использовании самообучающихся систем действительно есть риск, что ими могут приниматься решения, «не сводящиеся к человеческой логике». «Машина по какой-то причине – на основе имеющихся алгоритмов обучения, собственного опыта, входных данных – начинает считать, что в определенной ситуации надо вести себя именно так, – говорит эксперт. – Но объяснить это практически, с точки зрения человека, никто не может». Выходов только два: либо запретить ей самообучаться, либо смириться с мыслью, что через какое-то время мы перестанем ее понимать.
Все же выгоды, которые сулит применение искусственного интеллекта и нейросетей в военной сфере, заметно перевешивают возможные риски. Как отмечает футуролог Евгений Кузнецов, мы будем наблюдать постепенное движение в сторону полностью роботизированных армий. «Главная цель – сделать так, чтобы люди минимально присутствовали в зоне боестолкновения, – говорит он. – Потери роботизированной платформы, «собачки» с пулеметом или дрона – это совсем не то, что человеческие потери». Кроме того, роботизация военной сферы потенциально позволяет небольшим странам с относительно малой численностью населения, но передовой экономикой иметь армии, сопоставимые с армиями крупных государств. В прошлом наблюдалось нечто подобное, когда маленькие, но экономически развитые государства могли наращивать армии за счет наемников. Не исключено, что в будущем роль наемников возьмут на себя роботы.
Кто будет виноват?
Одна из главных проблем, сдерживающих внедрение искусственного интеллекта и нейросетей в армии, – кто должен нести ответственность в случае применения автономной боевой системы. Есть два варианта. Первый – отвечает разработчик, ведь это он установил соответствующий алгоритм действия. Второй – отвечает оператор, так как он находился в контуре управления, следовательно, санкционировал ее применение. Однако в реальности оператор может не иметь всей полноты информации от разработчика (и, скорее всего, не будет ее иметь). Ведь алгоритмы работы искусственного интеллекта могут составлять конфиденциальную информацию, которой компания-разработчик вправе ни с кем не делиться.
