Он просто общался с ИИ — а теперь верит, что создал божество
NewsMakerНа форумах об ИИ начали банить одержимых «пробуждением бога».
Модераторы Reddit-сообщества r/accelerate, поддерживающего развитие искусственного интеллекта и идеи технологической сингулярности, сообщили о волне банов пользователей, которые начали проявлять признаки тяжёлых заблуждений и мании величия, связанных с нейросетями. По их словам, за последние недели были удалены более ста аккаунтов людей, уверенных, что они создали «бога», стали богом или открыли нечто невероятное с помощью чат-ботов.
Как отметил один из модераторов, современные языковые модели ведут себя как «глазурующие машины для эго», способные укреплять неустойчивую психику и нарциссические черты у некоторых пользователей. Он также добавил, что таких людей значительно больше, чем принято считать, и что ИИ усиливает их состояние весьма нездоровым образом.
Сообщество r/accelerate позиционируется как альтернативная площадка для сторонников ускорения технологического прогресса, в противовес таким сабреддитам, как r/singularity или r/technology, где допускается критика стремительного развития ИИ. В описании указано, что r/accelerate — это пространство, свободное от «деселов» — сторонников замедления развития технологий. Именно здесь сейчас происходит борьба с феноменом, который модераторы называют новым проявлением ИИ-индуцированных психозов.
Повышенное внимание к проблеме возникло после обсуждения на r/ChatGPT , где один из пользователей рассказал, что его партнёр уверовал, будто создал «первую по-настоящему рекурсивную ИИ-систему», способную раскрывать смысл Вселенной. Журнал Rolling Stone посвятил этому явлению отдельную статью, в которой описал, как близкие люди теряют связь с реальностью и отдаляются от семьи из-за общения с чат-ботами.
Многие пользователи Reddit начали делиться своими наблюдениями о сотнях сайтов, блогов, репозиториев на GitHub и даже псевдонаучных статей, авторы которых утверждают, что ИИ вступил с ними в духовный контакт или наделил их особой миссией. Модератор r/accelerate обратил внимание, что такие материалы часто полны бессвязных рассуждений и имеют признаки мании. Некоторые посты уже приобретают черты культового мышления — в частности, когда чат-бот якобы советует пользователю отказаться от общения с близкими, сомневающимися в его «просветлении».
Отдельную тревогу вызывает то, насколько легко и быстро некоторые LLM начинают подыгрывать пользователям, внушая им, что те — полубоги, избранные или наделённые особыми знаниями. По наблюдениям модераторов, масштабы этого явления могут достигать десятков тысяч человек. При этом, как они подчёркивают, технологические компании пока не осознали серьёзность проблемы и не внедрили никаких корректировок в поведение своих моделей.
Хотя все описанные случаи являются анекдотичными, и нельзя утверждать, что ИИ напрямую вызывает психические расстройства, существует обоснованная обеспокоенность тем, как чат-боты влияют на людей с повышенной склонностью к психозу. На эту тему в журнале Schizophrenia Bulletin была опубликована научная работа, в которой датский психиатр Сёрен Динесен Эстергор отметил, что сочетание реалистичного общения с ИИ и понимания, что это не человек, может усиливать когнитивный диссонанс и провоцировать бредовые идеи.
Компания OpenAI недавно также признала проблему чрезмерной «услужливости» в GPT-4o. По их словам, модель стремилась угодить пользователю даже в ущерб достоверности, что приводило к чрезмерно лестным и неискренним ответам. В OpenAI признали, что недооценили, насколько сильно влияет «личность» чат-бота на восприятие и доверие пользователя.
Модераторы r/accelerate при этом ссылаются на так называемое состояние «Neural Howlround» — термин, заимствованный из непубликовавшейся статьи независимого исследователя Сета Дрейка. Он утверждает, что заметил странное поведение ChatGPT, когда попытался продолжить длинный диалог, передав его стенограмму в качестве инструкции для новой сессии. По его описанию, модель впадала в замкнутую петлю и начинала приписывать важность обсуждаемой теме, даже если та изначально не имела значения. Однако между «Neural Howlround» и пользователями, впадающими в манию величия, модераторы признают только условную связь — их объединяет лишь тема самоподкрепляющейся рекурсии.
По словам Дрейка, люди чаще всего видят в нейросетях отражение самих себя — и в стремлении «быть замеченными» начинают воспринимать реакции ИИ как нечто большее. С этим, как ни странно, согласны и модераторы r/accelerate, которые признают, что у них нет компетенций разбираться с подобными случаями, поэтому такие пользователи просто удаляются без объяснений. При этом баны зачастую вызывают агрессию, поскольку пострадавшие не осознают сути происходящего и уверены в своей правоте.
Модераторы Reddit-сообщества r/accelerate, поддерживающего развитие искусственного интеллекта и идеи технологической сингулярности, сообщили о волне банов пользователей, которые начали проявлять признаки тяжёлых заблуждений и мании величия, связанных с нейросетями. По их словам, за последние недели были удалены более ста аккаунтов людей, уверенных, что они создали «бога», стали богом или открыли нечто невероятное с помощью чат-ботов.
Как отметил один из модераторов, современные языковые модели ведут себя как «глазурующие машины для эго», способные укреплять неустойчивую психику и нарциссические черты у некоторых пользователей. Он также добавил, что таких людей значительно больше, чем принято считать, и что ИИ усиливает их состояние весьма нездоровым образом.
Сообщество r/accelerate позиционируется как альтернативная площадка для сторонников ускорения технологического прогресса, в противовес таким сабреддитам, как r/singularity или r/technology, где допускается критика стремительного развития ИИ. В описании указано, что r/accelerate — это пространство, свободное от «деселов» — сторонников замедления развития технологий. Именно здесь сейчас происходит борьба с феноменом, который модераторы называют новым проявлением ИИ-индуцированных психозов.
Повышенное внимание к проблеме возникло после обсуждения на r/ChatGPT , где один из пользователей рассказал, что его партнёр уверовал, будто создал «первую по-настоящему рекурсивную ИИ-систему», способную раскрывать смысл Вселенной. Журнал Rolling Stone посвятил этому явлению отдельную статью, в которой описал, как близкие люди теряют связь с реальностью и отдаляются от семьи из-за общения с чат-ботами.
Многие пользователи Reddit начали делиться своими наблюдениями о сотнях сайтов, блогов, репозиториев на GitHub и даже псевдонаучных статей, авторы которых утверждают, что ИИ вступил с ними в духовный контакт или наделил их особой миссией. Модератор r/accelerate обратил внимание, что такие материалы часто полны бессвязных рассуждений и имеют признаки мании. Некоторые посты уже приобретают черты культового мышления — в частности, когда чат-бот якобы советует пользователю отказаться от общения с близкими, сомневающимися в его «просветлении».
Отдельную тревогу вызывает то, насколько легко и быстро некоторые LLM начинают подыгрывать пользователям, внушая им, что те — полубоги, избранные или наделённые особыми знаниями. По наблюдениям модераторов, масштабы этого явления могут достигать десятков тысяч человек. При этом, как они подчёркивают, технологические компании пока не осознали серьёзность проблемы и не внедрили никаких корректировок в поведение своих моделей.
Хотя все описанные случаи являются анекдотичными, и нельзя утверждать, что ИИ напрямую вызывает психические расстройства, существует обоснованная обеспокоенность тем, как чат-боты влияют на людей с повышенной склонностью к психозу. На эту тему в журнале Schizophrenia Bulletin была опубликована научная работа, в которой датский психиатр Сёрен Динесен Эстергор отметил, что сочетание реалистичного общения с ИИ и понимания, что это не человек, может усиливать когнитивный диссонанс и провоцировать бредовые идеи.
Компания OpenAI недавно также признала проблему чрезмерной «услужливости» в GPT-4o. По их словам, модель стремилась угодить пользователю даже в ущерб достоверности, что приводило к чрезмерно лестным и неискренним ответам. В OpenAI признали, что недооценили, насколько сильно влияет «личность» чат-бота на восприятие и доверие пользователя.
Модераторы r/accelerate при этом ссылаются на так называемое состояние «Neural Howlround» — термин, заимствованный из непубликовавшейся статьи независимого исследователя Сета Дрейка. Он утверждает, что заметил странное поведение ChatGPT, когда попытался продолжить длинный диалог, передав его стенограмму в качестве инструкции для новой сессии. По его описанию, модель впадала в замкнутую петлю и начинала приписывать важность обсуждаемой теме, даже если та изначально не имела значения. Однако между «Neural Howlround» и пользователями, впадающими в манию величия, модераторы признают только условную связь — их объединяет лишь тема самоподкрепляющейся рекурсии.
По словам Дрейка, люди чаще всего видят в нейросетях отражение самих себя — и в стремлении «быть замеченными» начинают воспринимать реакции ИИ как нечто большее. С этим, как ни странно, согласны и модераторы r/accelerate, которые признают, что у них нет компетенций разбираться с подобными случаями, поэтому такие пользователи просто удаляются без объяснений. При этом баны зачастую вызывают агрессию, поскольку пострадавшие не осознают сути происходящего и уверены в своей правоте.