OpenAI представила CriticGPT, который ищет ошибки в тексте, созданном ChatGPT

Об этом сообщает Ars Technica.

Цель этой разработки – улучшить процесс принуждения систем искусственного интеллекта вести себя так, как желает человек, с помощью Reinforcement Learning from Human Feedback (RLHF). Это поможет рецензентам получать более точные результаты от большой языковой модели (LLM).

CriticGPT был создан в качестве помощника для инструкторов, проверяющих программный код, сгенерированный ChatGPT. Модель училась на наборе данных образцов кода с намеренно вставленными ошибками, что позволило ей распознавать и обозначать разные ошибки кодирования.

Разработка CriticGPT включала обучение модели на большом количестве входных данных, содержащих намеренно вставленные ошибки. Тренеры добавляли ошибки в код, написанный ChatGPT, и давали примеры отзывов, будто они обнаружили эти ошибки. Этот процесс позволил модели научиться идентифицировать и критиковать разные типы ошибок кодирования.

В ходе экспериментов CriticGPT продемонстрировал способность обнаруживать как сгенерированные, так и естественные ошибки в выводе ChatGPT. Исследователи предпочли критику новой модели той, которую создал сам ChatGPT, в 63% случаев. Это преимущество было частично связано с тем, что CriticGPT генерировал меньше ложных срабатываний.

Модель обнаруживает ошибки в созданном искусственным интеллектом коде

В ходе экспериментов оказалось, что возможности CriticGPT выходят за пределы простого просмотра кода. Исследователи применили модель к подмножеству учебных данных ChatGPT, ранее оцененных как безупречные, и обнаружили ошибки в 24% этих случаев. Эти ошибки впоследствии подтвердили рецензенты.

Также была разработана новая техника под названием Force Sampling Beam Search (FSBS), которая помогает CriticGPT писать более подробные обзоры кода. Этот метод позволяет регулировать, насколько тщательно CriticGPT ищет проблемы, а также контролировать частоту вымышленных проблем, на самом деле не существует. Это обеспечивает настройку баланса в зависимости от потребностей различных учебных задач ИИ.

OpenAI считает, что это демонстрирует потенциал модели для обобщения задач, не связанных с кодом и подчеркивает ее способность улавливать тонкие ошибки, которые даже тщательная человеческая оценка может пропустить.

Генеральный директор OpenAI Сэм Альтман сообщил, что компания рассматривает возможность изменения своей структуры управления на коммерческий бизнес, который не контролирует правление некоммерческой организации.

Источник фото: ua.depositphotos.com