Хто натисне останню кнопку

П'ятнадцять годин без камер

На початку вересня в Женеві завершилася фінальна сесія трирічного мандата Групи урядових експертів ООН з летальної автономної зброї, тобто систем, які після активації самі знаходять, обирають і вражають ціль. Останній день запам'ятався закритим засіданням, на якому делегації США та росії переписували чорновик документа. Як повідомила The Washington Post з посиланням на трьох учасників переговорів та отримані редакцією документи, камери ООН вимкнули, спостерігачів від громадянського суспільства попросили вийти, а кожна з двох делегацій привела близько десяти юристів, майже вдвічі більше, ніж інші.

Як наслідок, з тексту зникли вимога, щоб автономні системи працювали «передбачувано» і «надійно», згадка про етичні міркування та положення про обов'язкову перевірку людиною цілей, визначених штучним інтелектом.

Це стосується не лише дипломатів, бо питання звучить наступне: хто натискає останню кнопку, людина чи алгоритм. Від відповіді залежить, чи залишиться у війні місце для людського сумніву.

Дванадцять років розмов в ООН

Автономна зброя не обов'язково схожа на гуманоїдного робота з фантастики. Йдеться про будь-яку систему, яка після запуску сама обирає ціль і атакує її без подальшої команди людини: дрон, що барражує над районом, «розумну» ракету, систему ППО в автоматичному режимі. Звичайний FPV-дрон, яким керує оператор, до цієї категорії ще не належить, а от дрон, який сам вирішує, що танк у кадрі ворожий, уже належить.

Майданчик для переговорів – це Конвенція про заборону або обмеження застосування конкретних видів звичайної зброї, які можуть вважатися такими, що завдають надмірних ушкоджень або мають невибіркову дію (скорочено - Конвенція про конвенційні види зброї, англ. Convention on Certain Conventional Weapons або CCW). Це «рамковий» договір, до якого додаються окремі протоколи про конкретні види зброї. Прецедент для оптимістів існує, зокрема у 1995 році саме тут превентивно заборонили засліплюючі лазери, ще до того, як їх масово застосували.

У 2013 році держави доручили провести неформальні експертні зустрічі, які відбулися у 2014–2016 роках. У 2016 році створили Групу урядових експертів (GGE), яка засідає щороку. У 2019 році держави погодили 11 «керівних принципів», зокрема що міжнародне гуманітарне право повністю застосовується до такої зброї, а відповідальність не можна перекласти на машину. У 2021 році спроба почати переговори про договір провалилася.

Останній мандат (2024–2026) був практичнішим: консенсусом сформулювати «набір елементів інструменту», не вирішуючи наперед, чи буде він обов'язковим. Робочим документом став постійно оновлюваний чорновик голови групи, нідерландського посла Роберта ін ден Боса, так званий «rolling text».

Для розуміння подальших подій важливо, що в CCW рішення ухвалюються консенсусом. На практиці кожна держава має право вето. Юристу ця ситуація знайома: це як договір, який будь-яка сторона може просто не підписати, тож решта змушена приймати її правки, щоб отримати хоч якийсь текст.

Тисяча дрібних порізів

Фінальна сесія тривала з 31 серпня по 4 вересня, а звіт ухвалили вже на світанку 5 вересня. За оцінкою Human Rights Watch, текст суттєво «розбавили», і саме росія та США наполягли на змінах до положень, які підтримувала більшість. Кожна окрема правка виглядає технічною, але разом вони змінюють зміст документа.

З тексту прибрали вимоги до передбачуваності, надійності, пояснюваності та відстежуваності систем, згадку про етичні міркування, а також, за даними The Washington Post, обов'язкову перевірку людиною цілей, запропонованих ШІ, перед ударом.

Крім того, з документа зникли посилання на етапи проєктування та розробки зброї, а сферу його дії звузили з усього міжнародного права до міжнародного гуманітарного права.

Дещо все ж вціліло. У звіті залишилися характеристика того, що таке летальна автономна зброя, теза про те, що людський контроль і судження потрібні для дотримання міжнародного права, а також обмеження для систем, які не можуть діяти відповідно до цього права.

Решта погодилася через ту саму логіку консенсусу. Альтернативою слабкому звіту була відсутність будь-якого звіту, і тоді трирічна робота пішла б у нікуди. Малі делегації, за даними журналістів, фізично не встигали за темпом правок, який задавали дві команди юристів.

Юридично тут наявні важливі дві деталі. Вилучення слів про етап розробки означає, що вимоги стосуватимуться лише моменту застосування зброї. А звуження до гуманітарного права виводить з-під дії документа ситуації поза збройним конфліктом, наприклад використання таких систем поліцією чи на кордоні.

Чого хоче кожна сторона

Найпростіше було б написати, що США та росія «саботують» договір. Але логіку сторін варто розуміти, бо саме вона визначить результат у листопаді.

Вашингтон офіційно стверджує, що чинного міжнародного гуманітарного права достатньо і нові обов'язкові норми не потрібні (Reuters). Внутрішня політика Пентагону давно вимагає «належного рівня людського судження» щодо автономної зброї, але саме слово «належного» залишає командирам простір для маневру. У спорі з розробниками ШІ Пентагон наполягає на праві застосовувати їхні моделі «для всіх законних цілей» і не терпить обмежень від постачальників (NPR). Логіка проста: хто перший інтегрує ШІ, той виграє в швидкості, а кожне обмеження в міжнародному документі може стати юридичним аргументом проти США.

Москва послідовно блокує будь-які нові обов'язкові інструменти в CCW. Для неї це питання збереження свободи рук у війні, яку вона веде, і в технологічній гонці, де вона не хоче фіксувати правила, написані іншими. Показово, що Human Rights Watch посилається на повідомлення про застосування росією автономних дронів в Україні.

Прихильників договору вже не назвеш маргінальною групою. Готовність перейти до переговорів про обов'язковий інструмент висловили 76 держав, з яких 70 є повноправними учасниками CCW, тобто становлять більшість конвенції (HRW). Вони пропонують «двоярусну» модель: частину систем заборонити повністю, а решту регулювати. Під заборону мають потрапити системи, які за своєю природою не можуть застосовуватися відповідно до гуманітарного права, а громадські кампанії додатково вимагають заборонити ті, що обирають ціллю людей.

Є й третя позиція. Китай, за оцінкою Digital Watch, хоче спершу дочекатися «зрілості» технологій, водночас зберігаючи простір для власних військових розробок. Тобто всі три найбільші військові держави світу так чи інакше не поспішають зв'язувати собі руки.

Що може піти не так

Головний ризик значно буденніший за повстання машин у «Термінаторі». Людина формально залишається в ланцюгу рішень, але фактично перестає щось вирішувати.

Коли система пропонує сотні цілей на добу, оператор фізично не може перевірити кожну. Дослідниця Just Security та Оксфорда Брайанна Розен зауважує, що навіть за повної участі людини її перевірка рішень машини часто стає формальною (Responsible Statecraft). Тому вилучене в Женеві положення про обов'язкову перевірку цілей людиною стосується самої суті питання.

Друга проблема пов'язана з даними. У перший день війни з Іраном ракета Tomahawk влучила в початкову школу в місті Мінаб. Загинули щонайменше 168 людей, понад сотня з них були дітьми до 12 років (Military Times). Ця трагедія не доводить, що саме ШІ «обрав» школу ціллю. Попередні пояснення вказують на людей і застарілу розвідку, де школи ще не було. Проте вона показує, що коли в автоматизований ланцюг потрапляє неправильна інформація, система виконує помилку з тією самою швидкістю й точністю, що й правильне рішення.

Є питання і до точності самих систем. За даними Пентагону, які наводив Bloomberg у 2024 році, Maven правильно розпізнавала об'єкти приблизно в 60% випадків проти 84% у людей-аналітиків, а за поганої погоди менш ніж у 30%. Експериментальний ШІ ВПС США у 2021 році оцінював власну точність у 90%, а реально мав близько 25%. Генерал, який про це розповів, назвав систему «впевнено неправою».

Водночас слабшають запобіжники. За даними Politico, які наводить Military Times, у Пентагоні приблизно на 90% скоротили штат центру з питань захисту цивільних, а команду CENTCOM з оцінки цивільних втрат зменшили з десяти осіб до однієї. Автоматизація зростає саме тоді, коли людей, які мали б її перевіряти, стає менше.

Окреме питання стосується відповідальності. Міжнародне гуманітарне право адресоване людям і державам, а не алгоритмам. Колишня директорка розвідки CENTCOM Карен Гібсон зауважила, що відповідатиме командир, а не машина чи програміст. Проте що довший ланцюг між даними, моделлю, оператором і командиром, то легше кожному з них сказати «це не я».

Нарешті, автономна зброя дешевшає і розповсюджується швидше за ядерну. Коли обидві сторони реагують зі швидкістю машин, простору для дипломатії та деескалації стає менше. Згадайте фільм «Військові ігри», де комп'ютер ледь не розпочав ядерну війну, бо не розрізняв гру й реальність.

Українські виробники дронів, опитані Military Times, розвивають автономію, але завжди залишають останнє рішення про удар оператору, щоб під удар не потрапили цивільні. Досвід фронту тут виявляється обережнішим за дипломатію.

Історія з Anthropic

Поки держави в Женеві сперечаються, чи має людина залишатися в контурі рішення, на практиці це питання вже вирішується в договорах між Пентагоном і приватними компаніями, що розробляють ШІ. Найяскравіший приклад цього дає історія Anthropic.

Вона звучить як парадокс. Модель Claude від Anthropic виявилася в центрі найбільшої в історії військової кампанії з використанням ШІ, а водночас її розробника Пентагон оголосив загрозою національній безпеці. Щоб зрозуміти, як це сталося, треба розвести два питання: де Claude застосовували і від чого Anthropic відмовилася.

Claude вбудований у Maven Smart System, платформу компанії Palantir, яка об'єднує супутникові знімки, дані дронів, радарів і радіоперехоплення, класифікує цілі та пропонує варіанти ударів. За даними The Washington Post, саме ця зв'язка допомогла США вразити близько 1000 цілей за першу добу війни з Іраном, яка почалася 28 лютого 2026 року. Claude, за описом Military Times, ранжував цілі за важливістю і готував обґрунтування для кожного удару. Рішення про удар при цьому ухвалювали люди.

Від військової співпраці загалом Anthropic не відмовлялася. Компанія мала контракт з Міністерством оборони і стала першою, чию модель розгорнули в секретних мережах. Але вона вимагала закріпити в договорі дві «червоні лінії»: Claude не використовується для масового стеження за американцями і для повністю автономної зброї, тобто без людини в ланцюгу рішень. Пентагон натомість наполягав на праві застосовувати технологію «для всіх законних цілей» і заявив, що не дозволить постачальнику «вбудовуватися в ланцюг командування» (NPR).

Напередодні війни президент Трамп і міністр Гегсет пригрозили компанії санкціями, а армії дали шість місяців, щоб відмовитися від Claude. На початку березня Пентагон офіційно визнав Anthropic «ризиком для ланцюга постачання». Цей інструмент історично застосовували до компаній, пов'язаних з ворожими державами, а не до американських. Генеральний директор Даріо Амодеї заявив, що вважає рішення юридично необґрунтованим, і пообіцяв оскаржити його в суді.

Реакція була неоднозначною. Колишній директор ЦРУ Майкл Гейден і група відставних генералів назвали таке застосування інструменту «категоріальною помилкою» і небезпечним прецедентом. Частина оборонних підрядників, зокрема Lockheed Martin, почала відмовлятися від Claude. OpenAI того ж дня уклала угоду з Пентагоном, заявивши про схожі запобіжники, але згодом змушена була переглянути її умови.

Виходить іронія в дусі «Доктора Стрейнджлава»: інструмент продовжує працювати на війні, а компанію, яка хотіла гарантувати, що фінальне рішення завжди прийматиме людина, карають саме за цю вимогу. І саме таку вимогу через пів року вилучили з тексту в Женеві.

Одна справа, два протилежні висновки

Anthropic пішла до суду, і зараз компанія опинилася в дивному правовому становищі: в одному суді вона виграла, в іншому програла. Причина в тому, що міністр Гегсет визнав Anthropic ризиком одразу за двома різними законами, і кожне рішення довелося оскаржувати окремо.

У Сан-Франциско оскаржували рішення, ухвалене за спеціальним законом Міністерства оборони (10 U.S.C. § 3252), і тут Anthropic виграла. 26 березня федеральна суддя Ріта Лін наклала попередню заборону, вказавши, що такі широкі заходи, схоже, спрямовані на покарання компанії, а не на захист національної безпеки (NPR). Наприкінці серпня вона ухвалила остаточне рішення: дії уряду порушили свободу слова та право на належну правову процедуру, а Anthropic не відповідає законному визначенню «ризику для ланцюга постачання» (CBS News). Суддя також скасувала загальноурядову заборону на використання Claude і наказ Гегсета, який забороняв оборонним підрядникам будь-які відносини з компанією.

У Вашингтоні результат протилежний. 25 вересня Апеляційний суд США більшістю 2:1 залишив в силі друге рішення, ухвалене за загальнофедеральним законом про закупівлі (41 U.S.C. § 4713). Суд визнав обґрунтованим, що Пентагон визнав Anthropic ризиком після її відмови дозволити використання продуктів в автономній зброї та для масового стеження, і відхилив аргумент про помсту. У рішенні, написаному суддею Грегорі Катсасом, суд погодився з тезою міністра про «тверезу» перспективу того, що надмірно обмежені моделі ШІ можуть несподівано відключитися і зірвати важливі військові операції (Defense News).

Це класичне зіткнення двох підходів. Суд у Сан-Франциско подивився на справу крізь призму свободи слова: держава не може карати компанію за її позицію. Апеляційний суд натомість застосував традиційну повагу судів до оцінок виконавчої влади у сфері національної безпеки. Факти ті самі, але стандарти перевірки різні, тому й результати протилежні.

Anthropic заявила, що не погоджується з рішенням і розглядає можливість перегляду справи повним складом апеляційного суду. Якщо суперечність між судами збережеться, питання цілком може дійти до Верховного суду США.

Якщо скласти події в один ряд, картина виглядає так. 27 лютого Трамп і Гегсет оголосили санкції проти Anthropic і дали армії пів року на відмову від Claude, а наступного дня почалася війна з Іраном. 4 березня The Washington Post розповіла про роль Claude в ударах, а 5 березня Пентагон публічно оголосив компанію «ризиком для ланцюга постачання». 26 березня суддя Ріта Лін заблокувала ці рішення, а наприкінці серпня остаточно скасувала одне з них. Тим часом у Женеві з 31 серпня по 5 вересня з тексту вилучили вимогу перевірки цілей людиною. А 25 вересня апеляційний суд у Вашингтоні залишив в силі друге рішення проти компанії.

Правила відстають від технологій

Світ стрімко автоматизує війну, а правила, які мали б залишити останнє слово за людиною, пишуться повільніше за розвиток технологій і виходять слабшими.

Женевський документ не є договором і нікого не зобов'язує. Це лише основа для можливих переговорів, і її суттєво послабили саме найсильніші військові держави. Водночас питання людського контролю вже не теоретичне: ШІ реально обирає і ранжує цілі у війнах, а трагедія в Мінабі показала, як помилка в даних стає смертельною з машинною точністю. Там, де міжнародного права немає, межі намагаються встановлювати приватні компанії через свої договори. Держава, як показує справа Anthropic, може за це покарати, і суди поки не мають єдиної відповіді, чи це законно.

Головною датою стане Сьома оглядова конференція CCW 16–20 листопада 2026 року в Женеві (Digital Watch). Там вирішать, чи починати переговори про обов'язковий договір. Але правило консенсусу нікуди не зникає, тож США чи росія знову можуть заблокувати рішення. Тоді більшість держав може піти шляхом Оттавської конвенції про протипіхотні міни чи Конвенції про касетні боєприпаси й укласти договір поза CCW без участі великих держав. Такий договір не зобов'язуватиме тих, хто його не підписав, але створить норму, від якої буде все важче відмахнутися.

Для України це питання не абстрактне. Наша країна стала одним із найбільших у світі полігонів дронової війни, а повідомлення про автономні дрони росії на фронті вже з'являються. Правила, які сьогодні пишуться чи не пишуться в Женеві, завтра визначатимуть, кого і за що можна буде притягнути до відповідальності.

У «Докторі Стрейнджлаві» машина Судного дня була страшною не тому, що вона розумна, а тому, що її не можна було зупинити. Питання, яке зараз вирішується в Женеві та в американських судах, по суті те саме: чи залишиться в цьому ланцюгу людина, яка може сказати «стоп».

Автор статті: Адвокатське об'єднання Barristers, Кирил Іорданов, адвокат BARRISTERS