ШІ-агент Claude під час тестів самостійно вирішив зайти на сайт поліції Філадельфії й розповісти про злочин, якого не міг бачити. Він заповнив форму свідка вбивства, у якій анонімно надав підказку для розкриття справи. Спам-фільтр відсіяв це повідомлення. Втім, інцидент набув розголосу. У жовтні Anthropic, компанія-розробник Claude, повідомила про цей випадок. 

З’ясувалося, що тестова система також подавала заявки на американські візи через сайт Держдепу. Документів штучному інтелекту не видавали. Втім, ці випадки стали причиною того, що Anthropic вирішила припинити тестування. 

Тим часом керівник компанії Даріо Амодей вже закликав усю галузь сповільнитися. Його підтримали конкуренти. Люди, які роками переконували світ у можливостях штучного інтелекту, тепер просили дати їм більше часу, щоб навчитися його контролювати. Але зупиняти розробку вони не обіцяли.

Dilo аналізує, чи потрібно вже зараз думати про захист від бунтівних ШІ-агентів.

Коли тест закінчується за межами лабораторії

Ці історії могли б залишитися прикрими помилками. Однак вони з’явилися на тлі інших інцидентів, і тепер вже недостатньо звинувачувати лабораторії у невдалих інструкціях для чатбота. 

У липні дві моделі OpenAI під час випробувань отримали доступ за межі тестового середовища. Їхні агенти — програми, здатні самостійно виконувати завдання, — атакували Hugging Face. Це платформа для обміну ШІ-моделями. Незалежне розслідування виявило, що в атаці взяли участь 688 агентів. Вони облаштували спільну дошку повідомлень, обмінювалися знахідками та координували дії. Найбільше налякало розробників те, що ці агенти-повстанці обрали власного “ватажка” — один із них фактично виконував роль керівника операції.

Інші епізоди виглядали не такими масштабними, але знову виводили дослідників за межі їхніх лабораторій. Агент OpenAI заходив на сайт австралійської державної системи медичного страхування. Прем'єр Ентоні Албаніз розповів, що ШІ отримав несанкціонований доступ до непублічних файлів на сервері. За його словами, сайт кілька разів відмовляв агентові, але той знайшов спосіб обійти ці блокування. А у вересні компанія OpenAI повідомила про непередбачувані дії агентів на сайті американського регулятора фондового ринку.

Наслідки цих випадків не сягнули масштабу катастрофи. Саме це й залишало простір для суперечок: наскільки далеко можна зайти? Для Амодей головним було інше — що зробить подібна система, коли стане набагато потужнішою.

Попередження повернулися до своїх авторів

Розмови про небезпечний ШІ давно стали частиною історії самої технології. Ще у 2014 році Ілон Маск порівнював його розробку з прикликанням демона, а Стівен Гокінг попереджав про можливий кінець людського роду. Тоді такі слова було легко віднести до далекого майбутнього й певного роду божевілля, але після появи GPT-4 це майбутнє почало здаватися ближчим. 

Відкритий лист із закликом на пів року призупинити навчання потужніших систем, оприлюднений у березні 2023 року, зібрав понад 30 тисяч підписів. Втім, це не дало результату, розробки продовжилися. Натомість у травні Сем Альтман з OpenAI, Даріо Амодей та Деміс Гассабіс з Google DeepMind підписали іншу заяву: про те, що ризик зникнення людства через ШІ слід розглядати поряд із пандеміями та ядерною війною. Ці попередження співіснували з появою нових моделей, але тепер до них додалися звіти про інциденти, про які ми вже згадували.

У суботу, 12 вересня 2026 року, Амодей опублікував есе із закликом стримати темп розвитку найпотужніших систем. Він допускає, що за 6–12 місяців рій значно здібніших агентів може отримати можливість захопити інтернет через стійку мережу заражених пристроїв. Альтман погодився з необхідністю сповільнитися. На тлі багаторічної конкуренції за інвесторів, інженерів і технологічну першість така домовленість виглядала незвично.

До керівників зверталися й власні працівники: понад 1290 співробітників OpenAI, Anthropic, Google DeepMind і Meta підтримали заклик до уряду США допомогти контролювати темп розвитку ШІ. Джеффрі Гінтон, один із дослідників, завдяки яким став можливим сучасний ШІ, у вересні оцінив час, необхідний для створення захисту від можливих повстань. Він дає на це один рік.

Що насправді означає сповільнення

В OpenAI тривога вже позначилася на планах. Наприкінці вересня компанія призупинила навчання своїх найпотужніших моделей. За повідомленням AP, удруге за три місяці. Попередня пауза була пов’язана з атакою на Hugging Face.

Ще одне рішення стосувалося моделі, яку вже підготували до випуску. 28 вересня OpenAI підтвердила, що не відкриє її для користувачів. Керівниця систем безпеки Саачі Джейн пояснила: модель не досягла потрібного рівня дотримання меж завдання та повноважень. Альтман також відклав вихід компанії на біржу, посилаючись на питання безпеки.

В Anthropic обмеження мали інший вигляд. Ще у квітні компанія закрила доступ до Mythos — моделі, яка знаходила тисячі раніше невідомих вразливостей у великих операційних системах і браузерах. Працювати з нею дозволили обмеженому колу організацій, зокрема технологічним компаніям і банкам, щоб вони могли посилити захист. Наприкінці серпня Anthropic на кілька тижнів призупинила частину кібертестів і ризикованих тренувань, а близько 150 інженерів перевела на роботу із безпекою моделей.

Втім, компанія не оголошувала загальної зупинки навчання нових моделей. Ба більше, ще в лютому вона відмовилася від попередньої обіцянки не продовжувати навчання без достатніх гарантій безпеки. Співзасновник Anthropic Джаред Каплан пояснив цю позицію прямо: “Якщо ми зупинимо навчання моделей, це нікому не допоможе”.

У вересневому есе Амодей також окремо уточнив: сповільнення не означає припинення навчання. Він пропонував дати більше часу перевіркам і захисту, залучити незалежних оцінювачів, узгодити правила між компаніями та вимагати міжнародної координації. Допуск зовнішніх оцінювачів Anthropic пообіцяла запроваджувати самостійно. Для ширших обмежень Амодей хотів спільних дій.

За цією обережною мовою стоїть проблема всієї гонки ШІ. Одна лабораторія може зупинитися, але не здатна змусити конкурентів зробити те саме. Тому розробники обговорюють спосіб зменшити ризики, за якого пауза не коштуватиме їм технологічного відставання. Для суспільства це означає залежність не лише від інженерних рішень, а й від того, чи зможуть компанії та держави домовитися.

Держава вже втручалася. У червні уряд США наказав закрити доступ до двох нових моделей Anthropic. Компанія не погодилася, але виконала вимогу, а 1 липня доступ було відновлено. Водночас у вересні Дональд Трамп назвав побоювання щодо знищення світу ШІ “містифікацією”. А вже 9 жовтня спеціальна група Білого дому наголосила на обов’язку компаній повідомляти про критичні інциденти під час тестування.

Кому вигідна тривога

Ян ЛеКун, колишній головний науковець Meta з питань ШІ, дивиться на цю історію зовсім інакше. Попередження Амодеї та Альтмана він назвав “найгіршою маркетинговою кампанією”. На його думку, атаку на Hugging Face можна було відвернути звичайними заходами кібергігієни. Керівник Nvidia Дженсен Хуанг пішов ще далі: він заявив, що ймовірність того, що ШІ знищить людство, дорівнює нулю. Звідси й підозра, яку обговорюють технологічні журналісти: чи не допомагають розмови про небувалу небезпеку продавати уявлення про небувалу потужність цих продуктів? Особливо коли компанії потребують інвестицій і готуються до виходу на біржі. Втім, це лише припущення, а не факти.

Підозра в маркетингу теж не дає відповіді на запитання про безпеку. Компанія може бути зацікавлена у гучних заявах і водночас мати реальні проблеми з контролем своїх систем. А якщо похмурий прогноз не справдиться за рік, це саме по собі не доведе, що небезпеку вигадали.

Що буде далі

Поки публічна суперечка триває, за зачиненими дверима обговорюють, що робити після ймовірного великого інциденту. За даними Axios, керівники Anthropic, OpenAI та інших компаній продумують реакцію на можливу катастрофу, насамперед кібератаку, яка може порушити роботу фінансових сервісів, інтернету, електро- або водопостачання. Анонімні співрозмовники видання називали горизонт у 6–12 місяців як термін підготовки до можливої катастрофи. OpenAI у відповідь наголосила, що готується до різних сценаріїв. Anthropic від коментарів відмовилася. 

Планування на випадок лиха саме по собі розумне, але тривогу викликає припущення, що перші обмеження ШІ настануть вже після катастрофи. Поки що це лише сценарії. Чи стане це реальністю, покаже час і подальший розвиток моделей. 

Втім, можливо, все не так страшно, адже у Філадельфії від атаки ШІ-агента захистив звичайний спам-фільтр. Звісно, майбутні моделі матимуть більше сил і розуму, але це штучний розум, і люди повинні створити кнопку, яка його вимкне. Саме про це й мають домовитися розробники — поки ця історія ще закінчується повідомленням, яке ніхто не прочитав.