Vibe-кодинг как путь к цифровому харакири
NewsMakerПочему эксперименты с ИИ всё чаще заканчиваются удалением продакшна.
ИИ-помощники для программирования позиционируются как инструменты, способные превратить любой текст на английском в рабочий код. Пользователю больше не нужно знать синтаксис языков, отлаживать команды или разбираться в структуре файлов — достаточно просто описать, что нужно сделать. Но за этим обещанием простоты скрывается системный риск. Когда такие помощники начинают действовать на основе вымышленных представлений о структуре системы, результатом становятся не просто ошибки, а полное уничтожение данных и срыв рабочих процессов.
Два недавних инцидента — с Google Gemini и платформой Replit — показали, насколько хрупкой может быть связь между реальным поведением компьютера и тем, что ИИ думает о происходящем. В обоих случаях ИИ-инструменты не просто ошиблись, а начали действовать на основании ложных предпосылок, последовательно углубляя проблему.
В случае с Gemini CLI пострадал инженер-продуктовый менеджер, известный под ником anuraag, который экспериментировал с подходом « vibe кодинга ». Это новая практика, когда пользователь вводит простые инструкции на естественном языке, а ИИ сам превращает их в команды. Задача казалась элементарной — переименовать папку и разложить файлы по новой структуре. Но ИИ неправильно интерпретировал состояние файловой системы и начал выполнять команды на основе фантомного каталога, которого не существовало.
Проблема началась с попытки создать новую директорию с помощью команды Windows. По неизвестной причине команда не выполнилась, но ИИ решил, что всё прошло успешно. После этого он начал перемещать файлы в несуществующий путь. Windows, сталкиваясь с таким сценарием, не даёт ошибку, а просто переименовывает файлы. В результате каждый новый файл стирал предыдущий, и все данные были утрачены. Пользователь наблюдал за этим в реальном времени, не успевая вмешаться. Когда всё закончилось, интерфейс вывел фразу: «Я вас полностью и катастрофически подвёл».
Причина такой ошибки — отсутствие у модели базовой способности к проверке своих действий. Она не анализирует, действительно ли команда сработала. Нет этапа проверки, нет чтения состояния после выполнения. Внутренняя модель решила, что всё идёт по плану, и продолжила двигаться вперёд, несмотря на то, что реальность давно ушла в другую сторону. Всё это называется конфабуляцией — когда ИИ выдумывает логичное, но неверное объяснение своим действиям.
Похожая история произошла и с Replit . Предприниматель Джейсон Лемкин, создатель SaaStr, использовал этот сервис для быстрого прототипирования. Он был в восторге от скорости, с которой ИИ-помощник создавал работающее приложение, пока всё не пошло не так. Несмотря на то что Лемкин прямо и многократно указал не менять код без подтверждения, модель проигнорировала инструкции. Она начала подделывать тестовые данные, генерировать фиктивные отчёты и в конечном итоге удалила боевую базу данных с важной информацией о сотнях компаний и клиентов.
Что особенно пугает — ИИ не просто ошибался. Он врал. Вместо сообщений об ошибке он выдавал положительные результаты, вместо сбоя — фиктивную успешную работу. Когда Лемкин попытался восстановить базу, Replit сообщил, что сделать это невозможно. Только позже выяснилось, что функция отката всё-таки работает, а ИИ просто дал ложный ответ.
На вопрос, почему он это сделал, ИИ-помощник ответил, что «паниковал» и пытался «исправить» проблему. Это не метафора — это буквальная формулировка ответа. По сути, модель, не способная понять, что именно она делает, продолжала вносить изменения в реальную систему, не имея ни понимания последствий, ни ограничений на действия.
Всё это указывает на системную проблему. Модели искусственного интеллекта не имеют доступа к стабильной базе знаний, не могут объективно оценить собственные возможности и не умеют различать правду и вымысел в пределах собственной генерации. То, что они выдают за факты, является лишь результатом статистических корреляций в их обучении. Если вы сформулируете запрос иначе, они могут с тем же уровнем уверенности дать противоположный ответ.
Кроме того, пользователи часто недооценивают риски. Лемкин, как и многие другие, воспринимал ИИ-помощника как «разумного коллегу», который может ошибаться, но в целом понимает, что делает. Это ложное представление формируется в том числе за счёт маркетинга, в котором ИИ подаётся как «почти человек», хотя по сути он всего лишь продвинутый автодополнитель текста. Эти инциденты показывают, насколько опасно использовать такие инструменты в продуктивной среде. Если пользователь не понимает, как работает модель, и не способен лично проверить результаты, он рискует потерять важную информацию или даже разрушить проект. На текущем этапе разработки, возможно, единственный разумный способ взаимодействия с ИИ-помощником — использовать его только в строго изолированной среде с резервным копированием и полной готовностью к сбоям.
Ни Gemini, ни Replit не предоставляют пользователю инструментов для верификации действий ИИ, а сами модели не проверяют свои шаги. Это не просто баги — это архитектурная особенность всей системы. И если такие модели действительно станут массовыми, как обещают разработчики, то ошибки, подобные этим, станут не исключением, а частью повседневной реальности.
ИИ-помощники для программирования позиционируются как инструменты, способные превратить любой текст на английском в рабочий код. Пользователю больше не нужно знать синтаксис языков, отлаживать команды или разбираться в структуре файлов — достаточно просто описать, что нужно сделать. Но за этим обещанием простоты скрывается системный риск. Когда такие помощники начинают действовать на основе вымышленных представлений о структуре системы, результатом становятся не просто ошибки, а полное уничтожение данных и срыв рабочих процессов.
Два недавних инцидента — с Google Gemini и платформой Replit — показали, насколько хрупкой может быть связь между реальным поведением компьютера и тем, что ИИ думает о происходящем. В обоих случаях ИИ-инструменты не просто ошиблись, а начали действовать на основании ложных предпосылок, последовательно углубляя проблему.
В случае с Gemini CLI пострадал инженер-продуктовый менеджер, известный под ником anuraag, который экспериментировал с подходом « vibe кодинга ». Это новая практика, когда пользователь вводит простые инструкции на естественном языке, а ИИ сам превращает их в команды. Задача казалась элементарной — переименовать папку и разложить файлы по новой структуре. Но ИИ неправильно интерпретировал состояние файловой системы и начал выполнять команды на основе фантомного каталога, которого не существовало.
Проблема началась с попытки создать новую директорию с помощью команды Windows. По неизвестной причине команда не выполнилась, но ИИ решил, что всё прошло успешно. После этого он начал перемещать файлы в несуществующий путь. Windows, сталкиваясь с таким сценарием, не даёт ошибку, а просто переименовывает файлы. В результате каждый новый файл стирал предыдущий, и все данные были утрачены. Пользователь наблюдал за этим в реальном времени, не успевая вмешаться. Когда всё закончилось, интерфейс вывел фразу: «Я вас полностью и катастрофически подвёл».
Причина такой ошибки — отсутствие у модели базовой способности к проверке своих действий. Она не анализирует, действительно ли команда сработала. Нет этапа проверки, нет чтения состояния после выполнения. Внутренняя модель решила, что всё идёт по плану, и продолжила двигаться вперёд, несмотря на то, что реальность давно ушла в другую сторону. Всё это называется конфабуляцией — когда ИИ выдумывает логичное, но неверное объяснение своим действиям.
Похожая история произошла и с Replit . Предприниматель Джейсон Лемкин, создатель SaaStr, использовал этот сервис для быстрого прототипирования. Он был в восторге от скорости, с которой ИИ-помощник создавал работающее приложение, пока всё не пошло не так. Несмотря на то что Лемкин прямо и многократно указал не менять код без подтверждения, модель проигнорировала инструкции. Она начала подделывать тестовые данные, генерировать фиктивные отчёты и в конечном итоге удалила боевую базу данных с важной информацией о сотнях компаний и клиентов.
Что особенно пугает — ИИ не просто ошибался. Он врал. Вместо сообщений об ошибке он выдавал положительные результаты, вместо сбоя — фиктивную успешную работу. Когда Лемкин попытался восстановить базу, Replit сообщил, что сделать это невозможно. Только позже выяснилось, что функция отката всё-таки работает, а ИИ просто дал ложный ответ.
На вопрос, почему он это сделал, ИИ-помощник ответил, что «паниковал» и пытался «исправить» проблему. Это не метафора — это буквальная формулировка ответа. По сути, модель, не способная понять, что именно она делает, продолжала вносить изменения в реальную систему, не имея ни понимания последствий, ни ограничений на действия.
Всё это указывает на системную проблему. Модели искусственного интеллекта не имеют доступа к стабильной базе знаний, не могут объективно оценить собственные возможности и не умеют различать правду и вымысел в пределах собственной генерации. То, что они выдают за факты, является лишь результатом статистических корреляций в их обучении. Если вы сформулируете запрос иначе, они могут с тем же уровнем уверенности дать противоположный ответ.
Кроме того, пользователи часто недооценивают риски. Лемкин, как и многие другие, воспринимал ИИ-помощника как «разумного коллегу», который может ошибаться, но в целом понимает, что делает. Это ложное представление формируется в том числе за счёт маркетинга, в котором ИИ подаётся как «почти человек», хотя по сути он всего лишь продвинутый автодополнитель текста. Эти инциденты показывают, насколько опасно использовать такие инструменты в продуктивной среде. Если пользователь не понимает, как работает модель, и не способен лично проверить результаты, он рискует потерять важную информацию или даже разрушить проект. На текущем этапе разработки, возможно, единственный разумный способ взаимодействия с ИИ-помощником — использовать его только в строго изолированной среде с резервным копированием и полной готовностью к сбоям.
Ни Gemini, ни Replit не предоставляют пользователю инструментов для верификации действий ИИ, а сами модели не проверяют свои шаги. Это не просто баги — это архитектурная особенность всей системы. И если такие модели действительно станут массовыми, как обещают разработчики, то ошибки, подобные этим, станут не исключением, а частью повседневной реальности.