29 апреля Французский комитет по этике обороны выпустил «Avis sur l'integration de l'autonomie dans les sistèmes d'armes letaux», в котором он подчеркнул двойной прорыв в автономных системах вооружений, описанный следующим образом: «двойной прорыв, как технологический, так и этический». Поднимаются фундаментальные вопросы в области вооруженных сил и обороны, такие как:
Как мы можем поддерживать оперативное превосходство наших армий, не теряя наших ценностей?
* Какое место должны занимать люди на войне?
> * Как можно сохранить моральную неприкосновенность комбатантов?
* Какова ответственность человека при ведении войны?
Комитет считает необходимым подчеркнуть, что так называемая «автономная» машина не может быть таковым, не устанавливая собственных правил. За автономией стоят автоматизмы; за автоматами стоят программы; за программами стоят люди, которые устанавливают правила машины, в том числе и те, кто разрешает этой машине выходить за рамки этих самых правил».
Даже понятие смертоносного оружия следует лучше уточнить и определить, например, не включая несмертельные системы помощи в принятии решений, так называемые SNLAD, или les systèmes non letaux d’aide à la décision, которые также влекут за собой необходимость тщательного и детального этического анализа, но не относятся к настоящему исследование, которое хорошо направлено на автономные системы вооружения. Следовательно, следствием этой предпосылки является различие между просто автоматизированными системами вооружения, в которых автоматизмы обеспечивают «низкоуровневые», некритические функции, и системами смертоносного оружия, для которых принятие решений и критические функции являются «высокоуровневыми». автоматизированный. Именно в автономии принятия решений и командных функциях, возложенных на автоматизмы, и лежат разрушающие факторы. Именно в этом различии в системах принятия решений высокого уровня необходимо проводить различие между системами SALA и SALIA; то есть между смертоносными автономными системами вооружений, SALA, и смертоносными системами вооружений, которые включают автономию, но остаются под контролем человека, так называемые SALIA.
«SALA следует рассматривать как полностью автономные системы, т.е. системы, способные определять или изменять объем их миссии без проверки человеком и применения смертоносной силы без какой-либо формы человеческого контроля или надзора».
«В робототехнике «автономный» объект наделен так называемой автономией «принятия решений»: он способен функционировать независимо от другого агента, человека или нет, выполняя после расчетов нетривиальные действия, которые он выполняет в роботе, изменяя среду (физическую или операционную), все в соответствии со спецификациями, которые отвечают потребностям и требованиям. Таким образом, проектировщик и пользователь объекта решили доверить объекту выполнение определенных функций. Расчеты, производимые объектом, касаются, в частности, функций узнавания и оценки среды (восприятия в широком смысле), функций принятия решения о действиях с учетом этой оцениваемой среды, интеграции различных ограничений и достижения поставленной цели, а также как функции общения между сущностями, людьми или объектами».

Французское правительство заявило, что оно не использует SALA!
Причины этого решения, которое является очень своевременным и важным и которое не относится к низкоуровневому принятию решений или системам SALIA, заключаются в том, что его использование влечет за собой
разрыв субординации;
это противоречило бы конституционному принципу о необходимом свободном расположении вооруженных сил; и
это не давало бы гарантий соблюдения принципов международного гуманитарного права;
это противоречило бы нашей военной этике и основам приверженности французских солдат: честь, достоинство, владение силой , гуманность.
С другой стороны, использование систем SALIA во всех конфликтных средах принесло бы с собой, как написано в самом документе, несомненные преимущества, известные как «5 P's», т.е., по-французски, производительность , уместность, точность, защита, постоянство, эквивалентное ускорению оперативной обстановки, но с большей защитой вооруженных сил и большей способностью действовать с течением времени. Цикл «НОРД» (наблюдение/ориентация/решение/действие) имеет тенденцию к ускорению в контексте оперативных обязательств; это означает, что время между восприятием угрозы датчиками (спутниками, дронами, прицелами и т. д.) и моментом ее нейтрализации вооруженными силами имеет тенденцию к значительному сокращению. Что касается долговечности, SALIA может работать в море (самозащищенные корабли) или в небе (беспилотные орбиты) или выдерживать условия, с которыми сталкиваются наземные боевые группы. Поэтому они представляют непосредственный интерес для циклических, опасных или грязных (в истинном смысле этого слова) задач. потребность в «5C», заповедь, контроль над рисками, соответствие, осведомленность, доверие. В случае аварии с участием SALIA, повлекшей за собой неприемлемый ущерб или нежелательное открытие огня, поиск виновных в ходе послеаварийных расследований может оказаться сложным.
Недостаток информации или, наоборот, чрезмерно обильный поток информации, модели, которые люди имеют в своем уме, различные когнитивные искажения (предвзятость подтверждения, туннелирование внимания и т. д.) могут привести к плохому пониманию поведения системы и, следовательно, к плохому предвидению, что может привести к несчастным случаям, некоторые из них потенциально серьезными.
По данным МККК, Международного комитета Красного Креста, более широкое использование машинного обучения для адаптации к этим оперативным задачам, включая предвзятость, отсутствие предсказуемости и объяснимости, может быть источником потери уверенность, а меньшее участие человека приведет к дистанцированию, снижению бдительности и трудностям в принятии темпа принятия решений.
В ходе своего анализа Комитет определяет шесть руководящих принципов и дает 25 рекомендаций, касающихся методологии, исследований, трудоустройства, проектирования и обучения.
Шесть руководящих принципов ясно дают понять, что автономия систем в этом контексте должна принимая во внимание своеобразие сектора, что человеческая ответственность здесь неизбежна и неустранима, что использование SALA на высоком уровне противоречило бы даже этическим принципам, лежащим в основе достоинства французских вооруженных сил, что оно в любом случае будет необходимо продолжать поощрять исследования в этой области, и что системы SALIA также должны включать технические и организационные гарантии.
Эти принципы затем реализуются и развиваются в последующих рекомендациях, все из которых также сосредоточены на необходимости защиты так называемая «командная цепочка», сопровождаемая понятиями ответственности человека,
«Уникальность военного государства заключается еще и в прямом отнесении соответствие общих дисциплинарных положений принципам необходимости, соразмерности, гуманности и дискриминации между комбатантами и некомбатантами, установленным международным гуманитарным правом (МГП) и международным правом вооруженных конфликтов, которые, таким образом, включены в руководство по ведению Французские солдаты».
Раздел III поднимает вопрос явной важности: какие гарантии и какая бдительность?
Подтверждая центральную роль человека и принцип человеческой ответственности. Поскольку SALIA — это машина, на нее нельзя возлагать никакой ответственности.

Именно САЛИ представляют собой те системы, оснащенные программами, которым командование, оценив обстановку и под свою ответственность, может в ограниченном пространстве-времени и в ограниченных условиях доверить выполнение задач, связанных с автономностью принятия решений, в определенные критические функции, такие как идентификация, классификация, перехват, взаимодействие, не делегируя ничего другого автоматизмам любого рода. определения:
SALA (système d'armes létal autonome): система смертоносного оружия, запрограммированная так, чтобы иметь возможность изменять свои собственные оперативные правила, касающиеся, в частности, поражения целей, вне фиксированных рабочих рамок, и способная использовать это программирование. для расчета решения с целью действий, без командной оценки ситуации.
SALIA (système d'armes letal intégrant de l'autonomie): система смертоносного оружия интегрирующий автоматизм и программирование:
- которому командование после оценки ситуации и под свою ответственность может поручить в ограниченном пространстве-времени и в ограниченных условиях выполнение задач, связанных с автономностью принятия решений , в определенных критических функциях, таких как идентификация, классификация, перехват, вовлечение;
- которые включают технические гарантии или внутренние характеристики, которые предотвращают ошибки, отклонения и любое оставление в подчинении двух основных прерогатив, а именно оценки ситуации и сообщения.

Подчинение разработки и реализации SALIA гарантиям надлежащего использования: командование, контроль рисков, соответствие, знание и доверие («5C»): надзор и субсидиарность. Поддерживайте цепочку ответственности, командования и контроля и мыслите с точки зрения этических принципов, а не технологических скачков, и поддерживайте нормативно-правовой контроль на протяжении всего жизненного цикла системы, то есть на этапе подготовки, в реализации, а также в процессе эксплуатации. Уважайте человеческий контроль и постоянную и адекватную подготовку человеческого персонала. Ключевая роль отводится доверию, понимаемому с точки зрения «интерпретируемости», «управляемости» и «гарантии» результатов.
Этот документ может стать образцом для всех будущих положений об использовании ИИ (искусственного Разведывательные) системы в военной области.

Все права защищены

Рафаэлла Агемо, юрист

Недавнее предупреждение Комитета по этике обороны Франции об использовании автономного оружия

Рафаэлла Агемо