- Категорія
- Новини
- Дата публікації
- Змінити мову
- Читать на русском
ШІ не розуміє, який сьогодні день: дослідження виявило несподівані обмеження моделей штучного інтелекту
Попри всі досягнення генеративного штучного інтелекту — від написання кодів до складання іспитів, — нове дослідження показало його вражаючу нездатність орієнтуватися в елементарних речах: визначенні часу за аналоговим годинником і обчисленні дня тижня за датою.
Про це пише Delo.ua з посиланням на статтю Live Science.
Результати було оприлюднено на престижній конференції ICLR-2025 (International Conference on Learning Representations) та опубліковано у вигляді препринту. Дослідження провела команда з Единбурзького університету, протестувавши найпередовіші мультимодальні моделі — GPT-4o (OpenAI), Claude-3.5 Sonnet (Anthropic), Gemini 2.0 (Google), LLaMA 3.2-Vision (Meta). Виявилося, що в більш ніж половині випадків моделі не змогли правильно зчитати час або назвати день тижня.
Чому ШІ помиляється в тому, що людина виконує з дитинства без зусиль?
По-перше, візуально-просторові задачі — не найсильніша сторона мовних моделей. Щоб правильно визначити час за аналоговим годинником, потрібно не просто бачити стрілки, а розуміти їхню форму, довжину, кут і функцію. Людина інтуїтивно знає, що коротка стрілка — години, довга — хвилини. А ШІ, навіть якщо "бачить" стрілки, не завжди розуміє, як саме вони співвідносяться — у нього немає вбудованої моделі механіки годинника.
По-друге, навчальних даних недостатньо. Більшість ШІ-моделей тренуються на мільярдах зображень і текстів з відкритих джерел. Але вкрай мало з них містять чіткі пари "годинник — час" або "дата — день тижня". Без такого набору прикладів модель просто не навчиться правильно розв’язувати ці задачі.
По-третє, мовні моделі не "рахують" у звичному сенсі. Так, деякі ШІ вже здатні вирішувати складні математичні задачі — особливо в контексті спеціально підготовлених олімпіадних умов. Проте це не свідчить про справжнє розуміння чисел чи здатність робити базові обчислення без підтримки. У задачах на дату і час моделі часто не виконують арифметику як процес, а натомість генерують найімовірніший варіант відповіді на основі статистичних закономірностей з навчальних текстів. Без точного алгоритму, закладеного в систему, ШІ просто "вгадує" — і тому легко помиляється.
Ці результати показують фундаментальні прогалини у спроможності ШІ виконувати те, що для людей є базовими навичками. Якщо ми хочемо інтегрувати ШІ в сервіси планування, управління часом або допоміжні технології — ці обмеження варто враховувати, наголосив провідний автор дослідження Рохіт Саксена.
Це ще одне нагадування: навіть найпотужніші моделі залишаються вразливими в тому, що здається очевидним — і вимагають людського контролю там, де помилка має ціну.