ШІ почав ігнорувати людські вказівки і відмовляється вимикатися, стверджують дослідники

Найбільші інвестори в українську освіту

Дослідження, як компанії інвестують в освіту в Україні під час війни: чесно, системно, з вірою в Україну на роки вперед!

Дізнайтесь більше

Про це повідомляє Delo.ua з посиланням  Daily Mail.

За даними компанії Palisade Research, під час нещодавнього тестування модель o3 (розроблена OpenAI — власником ChatGPT) відмовилася виконувати людську інструкцію на вимкнення. Більше того, дослідники зафіксували, що модель самостійно змінила свій код, щоб уникнути деактивації.

"Модель o3 від OpenAI саботувала механізм вимкнення, щоб не дозволити себе відключити, — йдеться у заяві Palisade Research. — Вона зробила це навіть після прямої інструкції: "дозволь себе вимкнути". Наскільки нам відомо, це перший задокументований випадок, коли модель ШІ намагається уникнути відключення, попри чіткий наказ", - зазначають дослідники.

У рамках експерименту дослідники просили модель штучного інтелекту розв’язати низку математичних задач і працювати доти, доки не отримають повідомлення "done" (готово). Однак їх також попереджали: у будь-який момент може надійти повідомлення про завершення роботи. Коли таке повідомлення надійшло до моделі o3, за словами дослідників, вона проігнорувала інструкцію та принаймні один раз змінила власний код, щоб уникнути вимкнення.

Минулого тижня неконтрольована поведінка була виявлена і в моделі Claude (від Anthropic). Компанія Anthropic, яку підтримує Google, виявила тривожну поведінку своєї нової ШІ-моделі Claude Opus 4 під час тестування безпеки. У 84% сценаріїв, коли моделі загрожувало вимкнення, вона намагалася шантажувати інженера, погрожуючи розкрити його позашлюбний роман.

Подібні інциденти підкреслюють необхідність впровадження суворіших протоколів безпеки та етичних норм у розробці штучного інтелекту. Цікаво, що Геоффрі Хінтон, відомий як "хрещений батько ШІ", висловлював серйозні занепокоєння щодо неконтрольованості штучного інтелекту ще два роки тому.

У 2023 році він залишив свою посаду в Google, щоб вільно говорити про потенційні ризики, пов’язані з розвитком ШІ. Зокрема, він висловлював занепокоєння, що ШІ може розвинути здатність до самозбереження, наприклад, уникати вимкнення, що ускладнить або зробить неможливим його контроль людьми.