OpenAI представила CriticGPT, який шукає помилки у тексті, згенерованому ChatGPT

Про це повідомляє Ars Technica.

Мета цієї розробки — покращити процес примусу систем штучного інтелекту поводитися так, як бажає людина, за допомогою Reinforcement Learning from Human Feedback (RLHF). Це допоможе рецензентам отримувати точніші результати від великої мовної моделі (LLM).

CriticGPT було створено як помічника для інструкторів, які перевіряють програмний код, згенерований ChatGPT. Модель навчалася на наборі даних зразків коду з навмисно вставленими помилками, що дозволило їй розпізнавати та позначати різні помилки кодування.

Розробка CriticGPT включала навчання моделі на великій кількості вхідних даних, що містили навмисно вставлені помилки. Тренери додавали помилки в код, написаний ChatGPT, і надавали приклади відгуків, ніби вони виявили ці помилки. Цей процес дозволив моделі навчитися ідентифікувати та критикувати різні типи помилок кодування.

Під час експериментів CriticGPT продемонстрував здатність виявляти як згенеровані, так і природні помилки у виводі ChatGPT. Дослідники віддали перевагу критиці нової моделі над тією, яку створив сам ChatGPT, у 63% випадків. Ця перевага була частково пов’язана з тим, що CriticGPT генерував менше хибних спрацьовувань.

Модель виявляє помилки в створеному штучним інтелектом коді

Під час експериментів виявилося, що можливості CriticGPT виходять за межі простого перегляду коду. Дослідники застосували модель до підмножини навчальних даних ChatGPT, які раніше були оцінені як бездоганні, і виявили помилки в 24% цих випадків. Ці помилки згодом підтвердили рецензенти.

Також було розроблено нову техніку під назвою Force Sampling Beam Search (FSBS), яка допомагає CriticGPT писати більш детальні огляди коду. Цей метод дозволяє регулювати, наскільки ретельно CriticGPT шукає проблеми, а також контролювати частоту вигаданих проблем, яких насправді не існує. Це забезпечує налаштування балансу залежно від потреб різних навчальних завдань ШІ.

OpenAI вважає, що це демонструє потенціал моделі для узагальнення завдань, не пов’язаних з кодом, і підкреслює її здатність вловлювати тонкі помилки, які навіть ретельна людська оцінка може пропустити.

Додамо, генеральний директор OpenAI Сем Альтман повідомив, що компанія розглядає можливість зміни своєї структури управління на комерційний бізнес, який не контролює правління некомерційної організації.

Джерело фото: ua.depositphotos.com