Смертоносний рій. Як США в корені міняють концепцію війни

Автор журналу Wired Уїлл Найт у своїй статті намагається знайти відповідь на запитання, чи доцільно усунути людину з процесу прийняття рішень при застосуванні автономних систем озброєнь.

У серпні минулого року в 40 милях на південь від Сіетла в небо піднялися кілька десятків військових дронів, а на дороги вийшли танкоподібні роботи. Їх місія: виявити терористів, які ймовірно ховаються в кількох будівлях.

У ході операції було задіяно так багато роботів, що контролювати їх не зміг жоден оператор-людина. І їм дали наказ знайти і знищити ворожих комбатантів.

Ця місія була лише вченням, яке організувало Агентство перспективних дослідницьких проєктів міністерства оборони. У роботів із озброєнь не було нічого смертельнішого радіопередавачів, призначених для імітації взаємодії як з дружніми, так і з ворожими роботами.

Навчання були одним з декількох, проведених минулого літа, з метою перевірити, як штучний інтелект може допомогти ширше використовувати автоматизацію військових систем, у тому числі в ситуаціях, які занадто складні і дуже швидко змінюються, щоб людина могла швидко прийняти критично важливе рішення. Ці навчання також являють собою певний зсув у відношенні Пентагона до автономної зброї, адже стає все більш очевидним, що при аналізі складні ситуацій або діях машини можуть перевершити людину.

Генерал Джон Мюррей з Командування майбутнього армії США під час виступу у Військовій академії США в минулому місяці заявив, що армія роботів змусить військових тактиків, політиків і суспільство задуматися над тим, чи повинна людина приймати всі рішення про застосування летальної сили при роботі з новими автономними системами. Мюррей запитав: "Чи може людина вирішити, яких з них потрібно задіяти, а потім прийняти 100 окремих рішень? Чи необхідно взагалі участь людини?" — додав він.

Судячи з інших оцінок військового керівництва, воно зацікавлене в розширенні можливостей автономних систем озброєння. Директор по операціях у програмі ВВС щодо прискорення ШІ в Массачусетському технологічному інституті і провідний спеціаліст по ШІ в збройних силах США Майкл Кенаан на конференції по штучному інтелекту в ВВС, що відбулася минулого тижня, зазначив, що мислення розвивається. Він каже, що ШІ слід більше займатися виявленням і визначенням потенційних цілей, поки люди приймають рішення на високому рівні. "Думаю, до цього ми і рухаємося", — вважає Кенаан.

На тому ж заході був присутній також заступник начальника штабу Пентагона по стратегії, інтеграції і вимогам генерал-лейтенант Клінтон Хиното, який сказав, що питання про те, чи можна вивести людину з циклу роботи летальної автономної системи, є "одним з найцікавіших, [і ] рішення поки немає ".

У цьому місяці Комісія національної безпеки і по штучному інтелекту (NSCAI), консультативний орган, створений Конгресом, опублікував доповідь, в якій серед іншого рекомендував США чинити опір закликам до введення глобальної заборони на розробку автономної зброї.

За словами Тімоті Чана, менеджера програми Darpa, що відповідає за проєкт рою дронів, минулорічні вчення проводилися з метою зрозуміти, коли оператор безпілотного літального апарату повинен чи не повинен приймати рішення для автономних систем. Наприклад, піддаючись атакам з декількох сторін, людський контроль часом може заважати виконанню місії, тому що люди не можуть реагувати досить швидко. "Насправді системи можуть працювати краще, якщо ніхто не втручається", — говорить Чан.

Тоді перед дронами і роботами на колесах, кожен з яких розміром з великий рюкзак, поставили спільну ціль, а потім запустили алгоритми ШІ для опрацювання плану по її досягненню. Деякі оточували будівлі, а інші спостерігали. Деякі були знищені імітацією вибухівки, деякі виявили маяки — ворожих комбатантів і вирішили атакувати.

США та інші країни десятки років використовували автономію в системах озброєнь. Деякі ракети можуть, наприклад, автономно ідентифікувати і атакувати ворогів у заданій області. Але швидкий розвиток алгоритмів штучного інтелекту змінить те, як військові використовують такі системи. Стандартний ШІ-код, що здатний управляти роботами і визначати орієнтири і цілі в більшості випадків з високою надійністю, дозволить використовувати більше систем для більш широкого списку сценаріїв.

Однак, як показали навчання з дронами, з більш активним застосуванням ШІ часом стає проблемним тримати людину в курсі того, що відбувається. Це може виявитися проблематичним, оскільки ШІ може бути підвладний упередженням або вести себе непередбачувано. Алгоритм зору, завдяки якому відбувається розпізнавання конкретної уніформи, може помилково націлитися на когось в аналогічному одязі. За словами Чана, проєкт Swarm ("Рій") передбачає, що алгоритми покращаться до такої міри, що з їх допомогою ворог буде ідентифікований з достатньою надійністю.

Використання ШІ в системах озброєнь в останні роки викликає все більше суперечок. Так, Google в 2018 р. зіткнулася з протестом своїх співробітників і громадським резонансом після того, як передала ВВС технологію штучного інтелекту в рамках проєкту Maven.

В якійсь мірі цей проєкт є частиною вже довгої історії автономних систем озброєнь, причому деякі ракети вже здатні виконувати обмежені завдання без контролю людини. Але він також дає уявлення про те, як останні досягнення в сфері ШІ зроблять автономію більш привабливою і неминучою в певних ситуаціях. Більш того, він підкреслює довіру, що буде надана технологіям, і які поки можуть бути непередбачуваними.

На думку експерта Центру нової американської безпеки, автора книги "Армія без людей: Автономна зброя і майбутнє війни" Пола Шарра, настав уже час провести більш серйозне обговорення технології автономної зброї. "Дискусія про "людей в циклі" повинна бути більш складною, ніж питання з двома простими відповідями:"так" або "ні", — говорить він. — Якщо людина приймає рішення атакувати рій ворожих дронів, чи потрібно їй індивідуально вибирати кожну ціль?".

Міністерство оборони в листопаді 2012 р. опублікувало стратегію використання автономної зброї, в якій говорилося, що такі системи повинні контролювати людину, але це не означає, що кожне рішення повинні приймати військові.

Ті ж, хто вважає, що використанням ШІ військові перейдуть Рубікон, коли мова піде про відповідальність людини за летальну зброю, дивляться на це інакше.

"Летальна автономна зброя, досить дешева, щоб її міг собі дозволити кожен терорист, що не відповідає інтересам національної безпеки Америки, — вважає Макс Тегмарк, професор Массачусетського технологічного інституту і співзасновник Інституту "Майбутнє життя", некомерційної організації, яка виступає проти автономної зброї.

Тегмарк зазначає, що зброю з ШІ слід "затаврувати і заборонити, як біологічну зброю". За його словами, рекомендація NSCAI не погоджуватися на глобальну заборону є стратегічною помилкою. "Я вважаю, що одного разу ми будемо шкодувати про це навіть більше, ніж про озброєння талібів", — додав він.