Чем может быть опасно автономное вооружение

Фантастика в фильмах «Терминатор» впечатляет, но насколько она может быть реальной? Об этом рассказал бывший сотрудник Пентагона Пол Шерри, который принимал участие в разработке стратегии применения автономного вооружения.

Он утверждает, что в реальных условиях такое оружие может быть неуправляемым, и существует возможность взлома, подмены и манипуляций со стороны противника.

Автономное вооружение стало возможным благодаря удешевлению датчиков и появлению технологий искусственного интеллекта. Возможное появление роботов-убийц уже спровоцировал движение протеста и дискуссии в ООН об ограничении разработки и внедрения таких систем.

Чего боятся эксперты

Пол Шерри руководит программой по разработке приемов ведения «войны будущего» в Центре Новой Американской Безопасности. С 2008 по 2013 годы он работал в кабинете министра обороны США, где помог разработать стратегию применения автономного оружия. В 2012 году он стал одним из авторов директивы Министерства обороны, которая устанавливала военную политику по использованию подобных систем.

В своем докладе «Автономное оружие и операционный риск» Шерри предупреждает о реальных рисках, связанных с полностью автономными боевыми системами, которые могут убивать без вмешательства человека и оружия. Альтернативой им является вооружение, которое «держит людей в курсе» в процессе выбора и поражения цели, то есть им управляет оператор.

«Каждый когда-нибудь разочаровывался в автоматизированной поддержке телефона доверия, будильнике, который ошибочно установлен на «вечер» вместо «утра» и так далее. Каждый сталкивался с проблемой «хрупкости», которая присутствует в автоматизированных системах», — пишет Шерри.

По словам эксперта, автономным системам вооружения не хватает «гибкости». В процессе выполнения такой системой задачи могут возникнуть ошибки, которые люди смогли бы избежать.

Автономное вооружение в армии

Полностью автономное оружие уже начинает появляться в арсеналах разных стран. Например, Южная Корея установила автоматическую турель вдоль демилитаризованной зоны с Северной Кореей. В Израиле стоит на вооружении беспилотный летательный аппарат, который запрограммирован атаковать радиолокационные системы противника при их обнаружении. Военные США пока еще не используют автономное оружие, но в этом году Министерство обороны привлекло около $1 млрд для производства полуавтономного оружия. Хотя ее оператор будет сначала выбирать цель, но без контакта с человеком такие системы автоматически будут идентифицировать и атаковать вражеские войска.

«Во время своего первого испытания над Тихим океаном в восьми истребителях F-22 полностью отказала система компьютера, поскольку они пересекли линию перемены даты», — говорится в докладе. — Все бортовые компьютерные системы отказали, и результат был почти катастрофическим — потеря самолета. Хотя существование линии изменения дат давно известна, результат взаимодействия с программным обеспечением полностью не протестирован».

Что предлагают взамен

В качестве альтернативы полностью автономной оружия Шерри в своем докладе рекомендует внедрять Centaur Warfighting. Это комбинированное вооружение, которое тесно интегрирует работу людей и компьютеров. В шахматах, например, команды, которые используют и люди, и программы искусственного интеллекта, доминируют в соревнованиях против команд, которые используют только искусственный интеллект.

Шерри также признает, что просто оператора, который «нажимает на кнопки», мало.

«Наличие просто знающего о действиях машины человека недостаточно, — сказал он. — Люди не могут быть просто частью алгоритма работы системы. Человек должен активно участвовать в принятии решений».