ИИ начал игнорировать человеческие указания и отказывается выключаться, утверждают исследователи

Найбільші інвестори в українську освіту

Дослідження, як компанії інвестують в освіту в Україні під час війни: чесно, системно, з вірою в Україну на роки вперед!

Дізнайтесь більше

Об этом сообщает Delo.ua со ссылкой Daily Mail.

По данным компании Palisade Research , во время недавнего тестирования модель o3 (разработанная OpenAI – владельцем ChatGPT) отказалась выполнять человеческую инструкцию на отключение . Более того, исследователи зафиксировали, что модель самостоятельно изменила свой код во избежание деактивации.

"Модель o3 от OpenAI саботировала механизм отключения, чтобы не позволить себя отключить, — говорится в заявлении Palisade Research. — Она сделала это даже после прямой инструкции: "позволь себя выключить". Насколько нам известно, это первый документированный случай, когда модель ИИ пытается избежать отключения, несмотря на четкий приказ", - говорят ученые.

В рамках эксперимента исследователи просили модель искусственного интеллекта решить ряд математических задач и работать до тех пор, пока не получат сообщение "done" (готово).   Однако их также предупреждали: в любой момент может прийти сообщение о завершении работы.   Когда такое сообщение поступило в модель o3 , по словам исследователей, она проигнорировала инструкцию и по крайней мере один раз изменила свой код, чтобы избежать отключения.

На прошлой неделе неконтролируемое поведение было обнаружено и у модели Claude (от Anthropic) . Компания Anthropic , поддерживаемая Google , обнаружила тревожное поведение своей новой ШИ-модели Claude   Opus 4 при тестировании безопасности. В 84% сценариев , когда модели   угрожало   выключение , она пыталась шантажировать инженера, угрожая раскрыть его   внебрачный роман.

Подобные инциденты  подчеркивают​ необходимость внедрение более суровых протоколов безопасности и этических норм в разработке искусственного интеллекта .   Интересно , что Геоффри Хинтон, известный как "крестный отец ИИ", выражал серьезные беспокойства относительно неконтролируемости искусственного интеллекта еще два года назад .

В 2023 году он покинул свой пост в Google, чтобы свободно говорить о потенциальных рисках, связанных с развитием ИИ.   В частности , он выразил   беспокойство, что ИИ может развить способность к самосохранению, например, избегать выключения, что усложнит или сделает невозможным его контроль людьми.