- Категория
- Новости
- Дата публикации
- Переключить язык
- Читати українською
ИИ не понимает, какой сегодня день: исследование выявило неожиданные ограничения моделей искусственного интеллекта
Несмотря на все достижения генеративного искусственного интеллекта — от написания кодов до сдачи экзаменов, новое исследование показало его поразительную неспособность ориентироваться в элементарных вещах: определении времени по аналоговым часам и исчислении дня недели по дате.
Об этом пишет Delo.ua со ссылкой на статью Live Science.
Результаты были обнародованы на престижной конференции ICLR-2025 (International Conference on Learning Representations) и опубликованы в виде препринта. Исследование провела команда из Эдинбургского университета, протестировав самые передовые мультимодальные модели – GPT-4o (OpenAI), Claude-3.5 Sonnet (Anthropic), Gemini 2.0 (Google), LLaMA 3.2-Vision (Meta). Оказалось, что в более чем половине случаев модели не смогли правильно считать время или назвать день недели.
Почему ИИ ошибается в том, что человек выполняет с детства без труда?
Во-первых, визуально-пространственные задачи – не самая сильная сторона языковых моделей. Чтобы правильно определить время по аналоговым часам, нужно не просто видеть стрелки, а понимать их форму, длину, угол и функцию. Человек интуитивно знает, что короткая стрелка – часы, длинная – минуты. А ИИ, даже если "видит" стрелки, не всегда понимает, как именно они соотносятся – у него нет встроенной модели механики часов.
Во-вторых, обучающих данных недостаточно. Большинство ИИ-моделей тренируются на миллиардах изображений и текстов из открытых источников. Но крайне мало из них содержат четкие пары "часы — время" или "дата — день недели". Без такового набора примеров модель просто не научится верно решать эти задачки.
В-третьих, языковые модели не "считают" в привычном смысле. Так, некоторые ИИ уже способны решать сложные математические задачи — особенно в контексте специально подготовленных олимпиадных условий. Однако это не свидетельствует о подлинном понимании чисел или способности производить базовые вычисления без поддержки. В задачах на дату и время модели часто не выполняют арифметику как процесс, а генерируют наиболее вероятный вариант ответа на основе статистических закономерностей из учебных текстов. Без точного алгоритма, заложенного в систему, ИИ просто "угадывает" — и потому легко ошибается.
Эти результаты показывают фундаментальные пробелы в способности ИИ выполнять то, что для людей является базовыми навыками. Если мы хотим интегрировать ИИ в сервисы планирования, управления временем или вспомогательные технологии – эти ограничения следует учитывать, подчеркнул ведущий автор исследования Рохит Саксена.
Это еще одно напоминание: даже самые мощные модели остаются уязвимыми в том, что кажется очевидным и требуют человеческого контроля там, где ошибка имеет цену.