ИИ-агент Claude во время тестов самостоятельно решил зайти на сайт полиции Филадельфии и рассказать о преступлении, которое не мог видеть. Он заполнил форму свидетеля убийства, в которой анонимно дал подсказку для раскрытия дела. Спам-фильтр отсеял это сообщение, но инцидент получил огласку. В октябре Anthropic, компания-разработчик Claude, сообщила об этом случае.

Выяснилось, что тестовая система также подавала заявки на американские визы через сайт Госдепа. Документы искусственному интеллекту не выдали. Однако эти случаи стали причиной того, что Anthropic решила прекратить тестирование.

Между тем, руководитель компании Дарио Амодей уже призвал всю отрасль замедлиться. Его поддержали конкуренты. Люди, годами убеждавшие мир в возможностях искусственного интеллекта, теперь просили дать им больше времени, чтобы научиться его контролировать. Но останавливать разработку они не обещали.

Dilo анализирует, нужно ли уже сейчас думать о защите от ИИ-агентов.

Когда тест заканчивается вне лаборатории

Эти истории могли бы остаться досадными ошибками. Однако они появились на фоне других инцидентов, и теперь недостаточно обвинять лаборатории в неудачных инструкциях для чатбота.

В июле две модели OpenAI в ходе испытаний получили доступ за пределы тестовой среды. Их агенты – программы, способные самостоятельно выполнять задачи, – атаковали Hugging Face. Это платформа для обмена ИИ-моделями. Независимое расследование выявило, что в атаке приняли участие 688 агентов. Они обустроили доску сообщений, обменивались находками и координировали действия. Больше всего испугало разработчиков то, что эти агенты-повстанцы избрали собственного "вожака" — один из них фактически исполнял роль руководителя операции.

Другие эпизоды выглядели не столь масштабными, но снова выводили исследователей за пределы их лабораторий. Агент OpenAI входил на сайт австралийской государственной системы медицинского страхования. Премьер Энтони Албаниз рассказал, что ИИ получил несанкционированный доступ к непубличным файлам на сервере. По его словам, сайт несколько раз отказывал агенту, но тот нашел способ обойти эти блокировки. А в сентябре компания OpenAI сообщила о непредсказуемых действиях агентов на сайте американского регулятора фондового рынка.

Последствия этих случаев не достигли масштаба катастрофы. Именно это и оставляло простор для споров: насколько далеко можно зайти? Для Амодей главным было другое — что сделает подобная система, когда станет намного мощнее.

Предупреждения вернулись к своим авторам

Разговоры об опасном ИИ давно стали частью истории самой технологии. Еще в 2014 году Илон Маск сравнивал его разработку с призывом демона, а Стивен Гокинг предупреждал о возможном конце человеческого рода. Тогда такие слова было легко отнести к далекому будущему и определенному роду безумия, но после появления GPT-4 это будущее стало казаться более близким.

Открытое письмо с призывом на полгода приостановить обучение более мощных систем, обнародованное в марте 2023 года, собрало более 30 тысяч подписей. Впрочем, это не дало результата, разработки продолжились. В мае Сэм Альтман из OpenAI, Дарио Амодей и Демис Гассабис из Google DeepMind подписали другое заявление: о том, что риск исчезновения человечества из-за ИИ следует рассматривать рядом с пандемиями и ядерной войной. Эти предупреждения сосуществовали с появлением новых моделей, но теперь к ним добавились отчеты об инцидентах, о которых мы уже упоминали.

В субботу, 12 сентября 2026 года, Амодей опубликовал эссе с призывом сдержать темп развития мощнейших систем. Он допускает, что за 6–12 месяцев рой более способных агентов может получить возможность захватить интернет через устойчивую сеть зараженных устройств. Альтман согласился с необходимостью замедлиться. На фоне многолетней конкуренции за инвесторов, инженеров и технологическое первенство такая договоренность выглядела необычно.

К руководителям обращались и собственные работники: более 1290 сотрудников OpenAI, Anthropic, Google DeepMind и Meta поддержали призыв к правительству США помочь контролировать темп развития ИИ. Джеффри Гинтон, один из исследователей, благодаря которым стал возможным современный ИИ, в сентябре оценил время, необходимое для создания защиты от возможных восстаний. Он дает на это один год.

Что на самом деле означает замедление

В OpenAI тревога уже сказалась на планах. В конце сентября компания приостановила обучение своих самых мощных моделей. По сообщению AP, второй раз за три месяца. Предыдущая пауза была связана с атакой на Hugging Face.

Еще одно решение касалось модели, которую уже подготовили к выпуску. 28 сентября OpenAI подтвердила, что не откроет ее для пользователей. Руководитель систем безопасности Саачи Джейн объяснила: модель не достигла нужного уровня соблюдения границ задач и полномочий. Альтман также отложил выход компании на биржу, ссылаясь на вопросы безопасности.

У Anthropic ограничения имели другой вид. Еще в апреле компания закрыла доступ к Mythos – модели, которая находила тысячи ранее неизвестных уязвимостей в больших операционных системах и браузерах. Работать с ней позволили ограниченному кругу организаций, в частности, технологическим компаниям и банкам, чтобы они могли усилить защиту. В конце августа Anthropic на несколько недель приостановила часть кибертестов и рискованных тренировок, а около 150 инженеров перевели на работу с безопасностью моделей.

Впрочем, компания не объявляла общую остановку обучения новых моделей. Более того, еще в феврале она отказалась от предыдущего обещания не продолжать обучение без достаточных гарантий безопасности. Соучредитель Anthropic Джаред Каплан объяснил эту позицию прямо: "Если мы остановим обучение моделей, это никому не поможет".

В сентябрьском эссе Амодей также уточнил: замедление не означает прекращения обучения. Он предлагал дать больше времени проверкам и защите, привлечь независимых оценщиков, согласовать правила между компаниями и требовать международной координации. Допуск внешних оценщиков Anthropic пообещала вводить самостоятельно. Для более широких ограничений Амодей хотел совместных действий.

За этими осторожными заявлениями стоит проблема всей гонки ИИ. Одна лаборатория может остановиться, но не способна заставить конкурентов сделать то же самое. Поэтому разработчики обсуждают способ снизить риски, при котором пауза не будет стоить им технологического отставания. Для общества это означает зависимость не только от инженерных решений, но и от того, смогут ли компании и государства договориться.

Государство уже вмешивалось. В июне правительство США приказало закрыть доступ к двум новым моделям Anthropic. Компания не согласилась, но выполнила требование, а 1 июля доступ был возобновлен. В сентябре Дональд Трамп назвал опасения относительно уничтожения мира ИИ "мистификацией". А уже 9 октября специальная группа Белого дома отметила обязанность компаний сообщать о критических инцидентах во время тестирования.

Кому выгодна тревога

Ян ЛеКун, бывший главный ученый Meta по ИИ, смотрит на эту историю совсем иначе. Предупреждение Амодей и Альтмана он назвал "худшей маркетинговой кампанией". По его мнению, атаку на Hugging Face можно было предотвратить обычными мерами кибергигиены. Руководитель Nvidia Дженсен Хуанг пошел еще дальше: он заявил, что вероятность того, что ИИ уничтожит человечество, равна нулю. Отсюда и подозрение, обсуждаемое технологическими журналистами: не помогают ли разговоры о небывалой опасности продавать представление о небывалой мощности этих продуктов? Особенно когда компании нуждаются в инвестициях и готовятся к выходу на бирже. Впрочем, это только предположение, а не факты.

Подозрение в маркетинге тоже не дает ответа на вопрос о безопасности. Компания может быть заинтересована в громких заявлениях и иметь реальные проблемы с контролем своих систем. А если пасмурный прогноз не сбудется через год, это само по себе не докажет, что опасность придумали.

Что будет дальше

Пока публичный спор продолжается, за закрытыми дверями обсуждают, что делать после вероятного крупного инцидента. По данным Axios , руководители Anthropic, OpenAI и других компаний продумывают реакцию на возможную катастрофу, кибератаку, которая может нарушить работу финансовых сервисов, интернета, электро- или водоснабжения. Анонимные собеседники издания называли горизонт в 6–12 месяцев как срок подготовки к возможной катастрофе. OpenAI в ответ отметила, что готовится к разным сценариям. Anthropic от комментариев отказалась.

Планирование на случай бедствия само по себе разумное, но тревогу вызывает предположение, что первые ограничения ИИ наступят уже после катастрофы. Пока это только сценарии. Станет ли это реальностью, покажет время и дальнейшее развитие моделей.

Впрочем, может быть, все не так страшно, ведь в Филадельфии от атаки ИИ-агента защитил обычный спам-фильтр. Конечно, у будущих моделей будет больше сил и ума, но это искусственный ум, и люди должны создать кнопку, которая его выключит. Именно об этом и должны договориться разработчики, пока эта история еще заканчивается сообщением, которое никто не прочитал.