Экскурсия в Реальность 2040 отменена: MIT доказал, что ИИ строит пустышки
NewsMakerИИ знает всё… если не спрашивать «зачем».
Исследователи из Массачусетского технологического института, Гарвардского университета и Чикагского университета предложили новый термин, чтобы описать один из скрытых и малоизученных недостатков современных языковых моделей искусственного интеллекта. Они назвали это явление «потёмкинским пониманием» — аналогией к известным « потёмкинским деревням », якобы возведённым для создания иллюзии благополучия перед Екатериной II.
Суть проблемы заключается в том, что большие языковые модели, такие как GPT-4o от OpenAI, могут успешно проходить сложные тесты и концептуальные задания, при этом не обладая настоящим пониманием тех идей, о которых идёт речь. Это явление учёные намеренно отделяют от так называемых «галлюцинаций» ИИ — ситуации, когда система просто выдаёт вымышленные или ошибочные факты. Потёмкинское понимание — это не про фактические ошибки, а про поддельное впечатление концептуальной осведомлённости.
В своей статье исследователи поясняют, что если «галлюцинации» ИИ подменяют реальные факты вымышленными, то «потёмкинское понимание» создаёт ложное ощущение глубокого знания и осмысленности, которого на деле нет. Планируется, что доклад будет представлен в конце июля на Международной конференции по машинному обучению ICML 2025.
Для демонстрации феномена команда приводит показательный случай с GPT-4o. Модель без ошибок объяснила структуру рифмовки в поэзии по схеме ABAB — когда первая и третья строки рифмуются между собой, а вторая и четвёртая — между собой. Однако, когда ИИ попросили вставить подходящее слово в четырёхстрочное стихотворение с такой рифмовкой, он предложил слово, не подходящее по рифме. Система сумела правильно воспроизвести описание, но не смогла применить полученные знания на практике.
По мнению авторов работы, такая ситуация ставит под сомнение объективность и полезность стандартных тестов, которые сегодня активно используются для оценки возможностей языковых моделей. Такие тесты создают иллюзию широкого понимания и интеллектуальных способностей ИИ, хотя на деле модели просто воспроизводят статистические закономерности, не осознавая глубинных концепций.
В связи с этим команда учёных разработала собственный набор испытаний, позволяющий выявить наличие потёмкинского понимания. Они протестировали несколько популярных языковых моделей, включая Llama-3.3 (70B), GPT-4o, Gemini-2.0 Flash, Claude 3.5 Sonnet, DeepSeek-V3, DeepSeek-R1 и Qwen2-VL (72B).
Результаты оказались показательными. Модели почти безошибочно распознавали концепты — успешность составляла 94,2%. Но при этом более чем в половине случаев (55%) они допускали ошибки при классификации примеров этих концептов. Кроме того, в среднем 40% заданий на генерацию примеров и столько же на редактирование существующих примеров были выполнены неправильно.
Так, модели могли уверенно объяснить литературные приёмы, встречающиеся в сонетах Шекспира, но часто не справлялись с их распознаванием, воспроизведением или редактированием.
Подобные сбои демонстрируют принципиальное отличие работы ИИ от человеческого понимания. То, что для человека считается признаком осознания, для языковой модели может быть лишь механическим повторением информации без настоящего осмысления .
Специалисты считают, что для дальнейшего развития ИИ необходимо либо менять подходы к тестированию , чтобы они выявляли реальное понимание, либо искать пути устранения потёмкинского поведения моделей. Такой шаг приблизит разработку полноценного искусственного общего интеллекта (AGI), но, по мнению самих специалистов, это займёт ещё немало времени.
Исследователи из Массачусетского технологического института, Гарвардского университета и Чикагского университета предложили новый термин, чтобы описать один из скрытых и малоизученных недостатков современных языковых моделей искусственного интеллекта. Они назвали это явление «потёмкинским пониманием» — аналогией к известным « потёмкинским деревням », якобы возведённым для создания иллюзии благополучия перед Екатериной II.
Суть проблемы заключается в том, что большие языковые модели, такие как GPT-4o от OpenAI, могут успешно проходить сложные тесты и концептуальные задания, при этом не обладая настоящим пониманием тех идей, о которых идёт речь. Это явление учёные намеренно отделяют от так называемых «галлюцинаций» ИИ — ситуации, когда система просто выдаёт вымышленные или ошибочные факты. Потёмкинское понимание — это не про фактические ошибки, а про поддельное впечатление концептуальной осведомлённости.
В своей статье исследователи поясняют, что если «галлюцинации» ИИ подменяют реальные факты вымышленными, то «потёмкинское понимание» создаёт ложное ощущение глубокого знания и осмысленности, которого на деле нет. Планируется, что доклад будет представлен в конце июля на Международной конференции по машинному обучению ICML 2025.
Для демонстрации феномена команда приводит показательный случай с GPT-4o. Модель без ошибок объяснила структуру рифмовки в поэзии по схеме ABAB — когда первая и третья строки рифмуются между собой, а вторая и четвёртая — между собой. Однако, когда ИИ попросили вставить подходящее слово в четырёхстрочное стихотворение с такой рифмовкой, он предложил слово, не подходящее по рифме. Система сумела правильно воспроизвести описание, но не смогла применить полученные знания на практике.
По мнению авторов работы, такая ситуация ставит под сомнение объективность и полезность стандартных тестов, которые сегодня активно используются для оценки возможностей языковых моделей. Такие тесты создают иллюзию широкого понимания и интеллектуальных способностей ИИ, хотя на деле модели просто воспроизводят статистические закономерности, не осознавая глубинных концепций.
В связи с этим команда учёных разработала собственный набор испытаний, позволяющий выявить наличие потёмкинского понимания. Они протестировали несколько популярных языковых моделей, включая Llama-3.3 (70B), GPT-4o, Gemini-2.0 Flash, Claude 3.5 Sonnet, DeepSeek-V3, DeepSeek-R1 и Qwen2-VL (72B).
Результаты оказались показательными. Модели почти безошибочно распознавали концепты — успешность составляла 94,2%. Но при этом более чем в половине случаев (55%) они допускали ошибки при классификации примеров этих концептов. Кроме того, в среднем 40% заданий на генерацию примеров и столько же на редактирование существующих примеров были выполнены неправильно.
Так, модели могли уверенно объяснить литературные приёмы, встречающиеся в сонетах Шекспира, но часто не справлялись с их распознаванием, воспроизведением или редактированием.
Подобные сбои демонстрируют принципиальное отличие работы ИИ от человеческого понимания. То, что для человека считается признаком осознания, для языковой модели может быть лишь механическим повторением информации без настоящего осмысления .
Специалисты считают, что для дальнейшего развития ИИ необходимо либо менять подходы к тестированию , чтобы они выявляли реальное понимание, либо искать пути устранения потёмкинского поведения моделей. Такой шаг приблизит разработку полноценного искусственного общего интеллекта (AGI), но, по мнению самих специалистов, это займёт ещё немало времени.