“Спотыкырь”, “лексинизировать” и испанская чушь. Что будет, если кормить ChatGPT бессмыслицей?
NewsMakerОдин психолингвист попробовал… И не смог остановиться.
Иногда лучший способ проверить интеллект — это сказать ему что-то бессмысленное. Именно так поступил профессор Майкл Витевич из Канзасского университета, устроив языковому ИИ масштабное испытание. Вместо привычных задач он предложил ChatGPT забытые слова, испанские звуки и вымышленные термины — и по реакции модели попытался разобраться, где границы её понимания, а где начинается машинная импровизация.
Первый этап эксперимента был посвящён редкой лексике. Витевич отобрал 52 слова, давно исчезнувших из повседневной речи. В списке оказались такие диковинки, как «upknocker» — так в XIX веке называли человека, который будил рабочих постукиванием по окну. В те времена это была настоящая профессия, альтернативы будильнику ещё не существовало. Учёного интересовало, сумеет ли ИИ распознать значения этих архаизмов и воспроизвести их корректно.
Результат оказался неоднозначным: в 36 случаях ChatGPT дал вполне точные объяснения. В 11 эпизодах он отказался отвечать, сославшись на незнание, что можно счесть честной стратегией. Однако в трёх случаях вместо интерпретации модель выдала перевод на иностранный язык, а в двух — придумала значения, которых на самом деле никогда не существовало.
Такой расклад выявил важную особенность языковой модели. Она действительно может запоминать и воспроизводить даже крайне редкие термины. Но когда уверенности не хватает, система склонна заполнять пробел вымыслом — не по злому умыслу, а из желания выдать «правдоподобный» ответ. Подобная изобретательность может быть опасной, особенно если воспринимать её слова как окончательную истину.
На втором этапе Витевич перешёл к классическому приёму из области психолингвистики. Он показывал модели настоящие испанские слова и просил назвать английские, которые звучат похоже. Для человека это довольно интуитивная задача — мы умеем на слух соотносить незнакомые звуки с привычной речью. Однако ChatGPT чаще всего отвечал не похожими английскими словами, а… снова испанскими.
Такое поведение показывает важное отличие между машинной логикой и человеческим восприятием. Когда человек сталкивается с непонятным звучанием, он ищет опору в родном языке. Искусственный интеллект же, запутавшись, склонен «переключаться» туда, где вероятности выше — в данном случае, продолжая испанскую последовательность. Модель не анализирует фонетику как человек — она строит ответ по вероятностным шаблонам.
Это наглядно демонстрирует уязвимость подобных систем: у них нет встроенного «языкового чутья». Они не чувствуют, что фраза вышла за рамки ожидаемой структуры, и не умеют сознательно держаться в рамках одного языка. Такие переключения возможны и у билингвов, но в модели это не проявление гибкости, а побочный эффект статистического предсказания.
На заключительном этапе эксперимента профессор решил проверить способность модели оценивать «английскость» вымышленных слов. Он составил список неологизмов, созданных на основе разных звуковых сочетаний — от тех, что звучат как настоящий английский, до откровенно абсурдных. Среди них были, например, «stumblop» (спотыкырь) и «lexinize» (лексинизировать). Задача заключалась в том, чтобы оценить каждое слово по шкале от 1 до 7, где единица означала полную неестественность, а семёрка — максимально «английское» звучание.
ChatGPT справился удивительно точно. Его оценки почти полностью совпали с мнением группы живых испытуемых. Это говорит о том, что модель хорошо улавливает статистику звуковых структур английского языка и может отличить правдоподобный неологизм от словесной несуразицы. Её представление о языке формируется из миллиарда фрагментов, и в этом случае оно оказалось весьма точным.
Но на этом проверка не закончилась. Витевич предложил ИИ придумать новые слова для понятий, которые в английском не обозначаются одним термином. И тут модель продемонстрировала неожиданную находчивость. В её арсенале оказались методы, типичные для настоящего лингвистического творчества: она складывала корни, играла со смыслами, создавая неологизмы с внутренней логикой.
Так появились такие термины, как «prideify» (гордитьсяза), обозначающее чувство гордости за чужие успехи, «stumblop» (спотыкырь) — неловкое движение, при котором человек сбивает сам себя с ног, и «lexinize» (лексинизировать) — процесс, при котором бессмысленное слово начинает восприниматься как значимое. Ещё одно слово — «rousrage» (проснебешенство) — описывает резкое раздражение при внезапном пробуждении. По мнению исследователя, это один из самых выразительных неологизмов: в нём сочетаются эмоциональная окраска и звуковая правдоподобность.
Важно, что модель не просто собрала звуки в красивую обёртку. Она передала суть ощущений, с которыми сталкивается любой человек, но не всегда может их точно назвать. Это позволяет говорить о генеративном ИИ как о потенциальном соавторе в расширении словаря, а не только о средстве для подстановки текста.
Эксперимент получился многослойным. Он охватывает и исторические пласты языка, и фонетическое восприятие, и возможности креативного синтеза. Каждый этап высвечивает разные аспекты поведения языковой модели — от устойчивых знаний до склонности к фантазиям.
Особенно интересно, как ChatGPT справляется с задачами, где нет единственно правильного ответа. Там, где человеку приходится опираться на интуицию и контекст, модель предлагает свои версии, которые могут быть как меткими, так и курьёзными. Но именно на таких стыках и рождаются возможности для совместного использования — где ИИ не заменяет человека, а дополняет его.
Смысл эксперимента Витевича не в том, чтобы подловить ИИ на ошибке, а в том, чтобы понять, где проходит грань между знанием и подражанием. Порой именно в абсурде проявляется структура мышления — или её отсутствие. Проблемы, связанные с галлюцинациями ChatGPT , уже находят практическое применение в различных областях, от медицинских диагнозов до программирования. И если мы хотим, чтобы машины стали нашими языковыми партнёрами, сначала стоит поговорить с ними… чепухой.
Первый этап эксперимента был посвящён редкой лексике. Витевич отобрал 52 слова, давно исчезнувших из повседневной речи. В списке оказались такие диковинки, как «upknocker» — так в XIX веке называли человека, который будил рабочих постукиванием по окну. В те времена это была настоящая профессия, альтернативы будильнику ещё не существовало. Учёного интересовало, сумеет ли ИИ распознать значения этих архаизмов и воспроизвести их корректно.
Результат оказался неоднозначным: в 36 случаях ChatGPT дал вполне точные объяснения. В 11 эпизодах он отказался отвечать, сославшись на незнание, что можно счесть честной стратегией. Однако в трёх случаях вместо интерпретации модель выдала перевод на иностранный язык, а в двух — придумала значения, которых на самом деле никогда не существовало.
Такой расклад выявил важную особенность языковой модели. Она действительно может запоминать и воспроизводить даже крайне редкие термины. Но когда уверенности не хватает, система склонна заполнять пробел вымыслом — не по злому умыслу, а из желания выдать «правдоподобный» ответ. Подобная изобретательность может быть опасной, особенно если воспринимать её слова как окончательную истину.
На втором этапе Витевич перешёл к классическому приёму из области психолингвистики. Он показывал модели настоящие испанские слова и просил назвать английские, которые звучат похоже. Для человека это довольно интуитивная задача — мы умеем на слух соотносить незнакомые звуки с привычной речью. Однако ChatGPT чаще всего отвечал не похожими английскими словами, а… снова испанскими.
Такое поведение показывает важное отличие между машинной логикой и человеческим восприятием. Когда человек сталкивается с непонятным звучанием, он ищет опору в родном языке. Искусственный интеллект же, запутавшись, склонен «переключаться» туда, где вероятности выше — в данном случае, продолжая испанскую последовательность. Модель не анализирует фонетику как человек — она строит ответ по вероятностным шаблонам.
Это наглядно демонстрирует уязвимость подобных систем: у них нет встроенного «языкового чутья». Они не чувствуют, что фраза вышла за рамки ожидаемой структуры, и не умеют сознательно держаться в рамках одного языка. Такие переключения возможны и у билингвов, но в модели это не проявление гибкости, а побочный эффект статистического предсказания.
На заключительном этапе эксперимента профессор решил проверить способность модели оценивать «английскость» вымышленных слов. Он составил список неологизмов, созданных на основе разных звуковых сочетаний — от тех, что звучат как настоящий английский, до откровенно абсурдных. Среди них были, например, «stumblop» (спотыкырь) и «lexinize» (лексинизировать). Задача заключалась в том, чтобы оценить каждое слово по шкале от 1 до 7, где единица означала полную неестественность, а семёрка — максимально «английское» звучание.
ChatGPT справился удивительно точно. Его оценки почти полностью совпали с мнением группы живых испытуемых. Это говорит о том, что модель хорошо улавливает статистику звуковых структур английского языка и может отличить правдоподобный неологизм от словесной несуразицы. Её представление о языке формируется из миллиарда фрагментов, и в этом случае оно оказалось весьма точным.
Но на этом проверка не закончилась. Витевич предложил ИИ придумать новые слова для понятий, которые в английском не обозначаются одним термином. И тут модель продемонстрировала неожиданную находчивость. В её арсенале оказались методы, типичные для настоящего лингвистического творчества: она складывала корни, играла со смыслами, создавая неологизмы с внутренней логикой.
Так появились такие термины, как «prideify» (гордитьсяза), обозначающее чувство гордости за чужие успехи, «stumblop» (спотыкырь) — неловкое движение, при котором человек сбивает сам себя с ног, и «lexinize» (лексинизировать) — процесс, при котором бессмысленное слово начинает восприниматься как значимое. Ещё одно слово — «rousrage» (проснебешенство) — описывает резкое раздражение при внезапном пробуждении. По мнению исследователя, это один из самых выразительных неологизмов: в нём сочетаются эмоциональная окраска и звуковая правдоподобность.
Важно, что модель не просто собрала звуки в красивую обёртку. Она передала суть ощущений, с которыми сталкивается любой человек, но не всегда может их точно назвать. Это позволяет говорить о генеративном ИИ как о потенциальном соавторе в расширении словаря, а не только о средстве для подстановки текста.
Эксперимент получился многослойным. Он охватывает и исторические пласты языка, и фонетическое восприятие, и возможности креативного синтеза. Каждый этап высвечивает разные аспекты поведения языковой модели — от устойчивых знаний до склонности к фантазиям.
Особенно интересно, как ChatGPT справляется с задачами, где нет единственно правильного ответа. Там, где человеку приходится опираться на интуицию и контекст, модель предлагает свои версии, которые могут быть как меткими, так и курьёзными. Но именно на таких стыках и рождаются возможности для совместного использования — где ИИ не заменяет человека, а дополняет его.
Смысл эксперимента Витевича не в том, чтобы подловить ИИ на ошибке, а в том, чтобы понять, где проходит грань между знанием и подражанием. Порой именно в абсурде проявляется структура мышления — или её отсутствие. Проблемы, связанные с галлюцинациями ChatGPT , уже находят практическое применение в различных областях, от медицинских диагнозов до программирования. И если мы хотим, чтобы машины стали нашими языковыми партнёрами, сначала стоит поговорить с ними… чепухой.