Кто остановит боевых роботов

В ООН озабочены тем, какие последствия может иметь деятельность роботов-убийц, и как она вписывается в нормы международного права.

Эти вопросы обсуждали недавно в Женеве эксперты стран-участниц Конвенции о некоторых видах обычных вооружений.

Елена Вапничная обратилась за комментарием к профессору международного права Бахтияру Тузмухамедову.

ТБ: В чем смысл автоматизированной системы? Это система, которая без участия человека может оценивать боевую среду, в которой она оперирует, она может выискивать и оценивать цель и сама принимать решение о применении оружия против цели. Человек может разработать программу, человек может вложить эту программу в машину, наконец, человек может физически вытащить, поставить эту машину на площадку, если это какая-нибудь гусенично-колесная машина, или на взлетно-посадочную полосу – и все, а дальше система уже работает сама и человек в этой работе не участвует. Вот мое понимание проблемы. Я думаю, что это вопрос времени – и не очень долгого времени, когда подобные системы – просто даже сложением уже имеющихся компонентов – станут реальностью.

ЕВ: Интересно, что противники и сторонники этого вида оружия выдвигают аргументы практически противоположные. Те, кто выступает за их применение, говорят, что машина не подвержена эмоциям, поэтому тут не будет факторов субъективных в выборе цели, например. Машина не испытывает злости, чувства мести и так далее. А другие говорят, что машина так же лишена и сочувствия, и сострадания и она совершенно хладнокровно может убить тех людей, которых можно было бы пощадить, может быть.

ТБ: Вы знаете, вот давайте вернемся к примеру с машиной, которая может сама парковаться и даже сама ехать. В такую автоматическую машину, которая везет человека, по идее должен быть заложен приоритет сохранения безопасности пассажира – наверное, уже можно даже не говорить об операторе, а именно о пассажире, не водителе, а пассажире. И вот представьте себе ситуацию: возникает какая-то предпосылка к серьезному дорожному происшествию и машина оказывается перед выбором: врезаться в стенку или сбивать человека, который оказался на проезжей части. А у нее первоначальная задача – сохранить жизнь пассажиру. Машина не может сделать этического выбора, машина – без эмоций, она сохраняет жизнь человеку, ну и сбивает, предположим, молодую маму с младенцем в коляске, которая неудачно оказалась на проезжей части в момент, когда вот эта автоматическая роботизированная «тачка» ехала по дороге.

Я думаю, что эффективный или значительный человеческий контроль прекращается после момента загрузки программы в систему и даже, может быть, когда какой-нибудь служащий вытаскивает, вывозит эту систему на взлетно-посадочную полосу – если мы говорим об аэродинамической системе: все, человеческий контроль утрачивается. И, кстати, за этим следует вопрос и об ответственности. Если машина набедокурила, не имея тормозов этических, гуманных, расстреляла не только законную враждебную цель, но и, скажем, детей, женщин, стариков, которые не имеют отношения к враждебной деятельности, кто несет ответственность? Предположим, если мы говорим о современных беспилотных летательных аппаратах, мы знаем, что есть оператор. Оператор ведет машину, оператор дает последнюю оценку возможной цели и принимает решение на удар. А кто здесь несет ответственность? Тот, кто разрабатывал программу, тот, кто загружал программу в машину, а, может быть, кто-то, кто дистанционно воздействовал -враждебно воздействовал – на эту систему? Это, кстати, тоже, наверное, проблема: как можно защитить компьютер этой полностью автоматизированной системы оружия от внешнего, со стороны, ну, будем говорить так, хакеров. Вот еще одна проблема.

ЕВ: Все участники этой дискуссии, похоже, сходятся в том, что если все-таки начнут применять такие системы, то они должны действовать в рамках международного гуманитарного права. Какая правовая система, какие правовые документы вообще могут регулировать их использование теоретически даже?

ТБ: Я думаю, что всё это обширное семейство беспилотных систем, как ныне применяемые системы, где человеческий фактор присутствует достаточно значительно, так и перспективные системы, где этот человеческий фактор будет уменьшаться, наверное, подпадает под действие Конвенции о некоторых видах обычного оружия. При этом эта Конвенция, с моей точки зрения, находится на стыке гуманитарного права и права разоружения, потому что там речь идёт не только об ограничении применения, но также и об определённом контроле над системами, которые подпадают под действие протоколов к этой Конвенции. Поэтому, может быть, как один из вариантов решения имело бы смысл разработать ещё один протокол к такой системе.

Ответственность за соблюдение действующих норм международного гуманитарного права должна возлагаться на того, кто разрабатывает программы для перспективной системы, и кто даёт добро на её применение. Если система сама сошла с ума или кто-нибудь вмешался в деятельность программы, всё равно где-то должен быть человек, который должен нести ответственность за ошибки, которые совершила машина, потому что машину в угол не поставишь и в тюрьму не посадишь.

ЕВ: Об этом и речь: кассетными боеприпасами начали заниматься после того, как стало понятно, что технология несовершенна, что эти «бомбочки», маленькие снаряды не разрываются, представляют огромную опасность для мирных жителей, особенно для детей. «Беспилотник» не всегда бьёт по нужной цели. Понятно, что рассчитывать, что эти роботы будут безупречны в выборе цели и проведении боевых действий, вряд ли можно. Не лучше ли, как считают некоторые, просто сразу запретить на корню, остановить все эти разработки, чтобы потом не иметь дело с последствиями, не создавать дополнительные протоколы, которые не всегда способны предотвратить жертвы?

ТБ: Международное право, оно реактивно, оно реагирует на какую-то ситуацию. Если взять сферу вооружений, то можно вспомнить единичные случаи, когда международное право не реагировало бы на уже существующую ситуацию, а стремилось её предотвратить. Можно вспомнить Конвенцию о запрещении размещения оружия массового уничтожения на дне морей и океанов, Договор по космосу в той части, в которой он запрещает размещение оружия массового уничтожения на Луне и небесных телах. В остальных случаях международное право всё-таки реагировало на ситуацию. В случае с автономными системами, джинн уже из бутылки вылетел.

Не знаю, как его можно было бы загнать назад: наложить всеобщий запрет? Тем более что, наиболее влиятельные государства, которые продвинулись в разработке таких систем дальше всего, они вряд ли пойдут на это. Другое дело, помимо протокола к Конвенции о некоторых видах обычного вооружения, можно было бы, если не подтянуть эти системы под действующие не международно-правовые режимы, то можно воспользоваться их опытом и создать новый режим. Например, есть режим контроля над ракетными технологиями, в котором участвуют основные производители ракет и, соответственно, сопутствующих технологий. Там есть определённые системы ограничений. Это не правовой документ, это не договор, в этом его слабость. Тем не менее, он действует, применяется. Конечно, комплексно решать её, т.е. здесь и Конвенция об обычных видах оружия, и какие-то новые толкования действующих норм международного гуманитарного права, подвёрствывание этих систем под существующие или создание новых внедоговорных режимов контроля над их распространением.