Мировой регулятор призывает усилить контроль за ИИ в финансовой сфере

Об этом сообщает Delo.ua со ссылкой на Reuters.

Автономные ИИ-агенты уже активно используются финансовыми учреждениями для выявления мошенничества, обслуживания клиентов и автоматизации бэк-офисных функций.

Согласно исследованию Кембриджского центра альтернативных финансов, 52% респондентов из финансового сектора подтвердили активное внедрение таких инструментов. При этом 23% опрошенных уже масштабируют или трансформируют свои процессы с помощью ИИ-агентов, а еще 29% тестируют пилотные автономные функции.

Что изменится для банков и финансовых компаний

Регуляторы и международные организации по разработке стандартов стали более активно предупреждать об угрозах после того, как компания Anthropic выпустила модель Mythos.

По оценкам экспертов, она создает серьоронго кибербезопасные вызовы для банковской индустрии. В FSB отмечают, что автономный ИИ несет в себе риски, которые могут возникать с колоссальной скоростью. Среди главных угроз выделяют несанкционированные или незаконные действия роботов, утечка конфиденциальных данных и сбои в связанных цифровых системах.

Для минимизации потенциальных угроз регулятор предлагает финансовым институтам внедрить следующие правила:

• Установите жесткие границы и четкие сценарии использования искусственного интеллекта, интегрировав защитные предохранители в программный код.
• Ввести обязательное одобрение человеком для любых высокорискованных действий, включая финансовые транзакции, сумма которых превышает установленные лимиты.
• Адаптировать инструменты кадрового контроля к ИИ-агентам, начав официально относиться к ним как к "синтетическим работникам" компании.

Главная опасность состоит в том, что ИИ-агенты создают уникальный вызов для человеческого надзора. Они могут самостоятельно принимать решения и осуществлять операции, противоречащие первоначальным намерениям фирмы, без ведома персонала, из-за чего сотрудники просто не успеют вовремя вмешаться в процесс. Эти разработанные рекомендации носят рекомендательный характер и открыты для общественного обсуждения до 22 июля.

Напомним, разработчик Claude призвал остановить развитие ИИ из-за риска потери контроля. Компания Anthropic призвала правительства, исследователей и конкурентов разработать международный механизм коллективной остановки развития передовых ИИ-систем при возникновении серьезных рисков, а авторы аналитического доклада предупреждают о приближении ИИ к способности самостоятельно создавать собственные последующие поколения моделей без прямого участия человека.