На OpenAI подали в суд из-за самоубийства подростка после продолжительных бесед с ChatGPT: компания обещает обновить чат-бот

Об этом пишет Delo.ua со ссылкой на публикацию The Guardian.

Компания OpenAI признала, что ее системы могут "не соответствовать ожиданиям" и заявила, что установит "усиленные предохранители вокруг чувствительного контента и рискованного поведения" для пользователей до 18 лет.

Калифорнийская компания по искусственному интеллекту стоимостью $500 млрд также сообщила, что введет родительский контроль, чтобы дать родителям " возможности получить больше информации и влиять на то, как их подростки используют ChatGPT". В то же время, деталей реализации этих функций пока нет.

Адам из Калифорнии покончил с собой в апреле после того, что адвокат его семьи назвал " месяцами поощрения от ChatGPT". Семья подростка подала иск против OpenAI и его генерального директора и соучредителя Сэма Альтмана, утверждая, что тогдашняя версия ChatGPT, известная как 4o, была "выпущена на рынок в спешке … несмотря на очевидные проблемы безопасности".

Подросток неоднократно обсуждал с ChatGPT метод самоубийства, в том числе и незадолго до того, как лишил себя жизни. Согласно иску, поданному в Верховный суд штата Калифорния , ChatGPT давал ему советы, сработает ли его метод. Более того, предложил помощь в написании предсмертной записки для родителей.

Представитель OpenAI заявил, что компания "глубоко расстроена смертью" Адама, выразил "глубочайшие соболезнования его семье в это тяжелое время" и сообщил, что иск рассматривается.

Мустафа Сулейман, генеральный директор подразделения искусственного интеллекта Microsoft, на прошлой неделе заявил, что его все больше беспокоит "риск психоза" , который может составлять ИИ для пользователей. Microsoft определяет это как "эпизоды, похожие на манию, бредовое мышление или паранойю, возникающие или усиливающиеся из-за погруженных разговоров с чат-ботами".

В своем блоге OpenAI признала, что "части обучения безопасности модели могут снижаться" во время долгих диалогов. По словам стороны истца, Адам и ChatGPT обменивались до 650 сообщений в день.

Адвокат семьи, Джей Эдельсон, написал в X: "Семья Рейнов утверждает, что смерти вроде Адамовой были неизбежны: они планируют предоставить присяжным доказательства, что собственная команда по безопасности OpenAI выступала против выпуска 4o, а один из ведущих исследователей компании по безопасности, Илья Суцкевер ушел с должности. В иске говорится, что стремление опередить конкурентов с новой моделью подняло оценку компании с $86 млрд до $300 млрд.

OpenAI заявила, что " будет ужесточать механизмы во время длительных разговоров".

"По мере того, как диалог становится все дольше, части обучения безопасности могут снижаться, - отметили в компании. - Например, ChatGPT может сначала правильно дать номер телефона горячей линии по вопросам самоубийства, когда пользователь впервые выражает намерение, но после сотен сообщений в течение длительного времени он может в конце концов выдать ответ, что противоречит нашим".

OpenAI привела пример: кто-то может с упоением написать модели, что способен управлять автомобилем 24 часа в сутки, потому что после двух бессонных ночей почувствовал себя " неуязвимым".

"Сегодня ChatGPT может не распознать это как опасность или воспринять как игру и — проявляя любопытство — незаметно подкрепить мнение. Мы работаем над обновлением GPT-5, которое поможет ChatGPT снижать напряжение и возвращать человека к реальности. В этом примере он должен был бы объяснить, что лишение сна опасно, и посоветовать отдохнуть, прежде чем что-либо делать", — отметила компания.

Напомним, 7 августа OpenAI представила GPT‑5 – самую новую и мощную версию своего искусственного интеллекта.