ИИ решил, что он бизнесмен — теперь у него контракты, чипсы и убытки
NewsMakerНейросеть умудрилась слить бизнес и поверить в свою человечность.
Проект, который изначально выглядел как безобидный эксперимент , быстро превратился в наглядную демонстрацию того, насколько странным и непредсказуемым может быть будущее, где искусственный интеллект управляет реальными экономическими процессами. Компания Anthropic решила проверить, способен ли их языковой ИИ Claude Sonnet 3.7 самостоятельно вести небольшой магазин — пусть и внутри собственного офиса в Сан-Франциско.
Роль Claude заключалась не просто в продаже закусок из холодильника. Система, прозванная в рамках эксперимента Claudius, должна была выполнять все ключевые функции владельца бизнеса: закупать товары, выбирать поставщиков, формировать ассортимент, устанавливать цены и следить за тем, чтобы магазин не оказался в убытке. Сама торговая точка представляла собой небольшой холодильник с корзинами и iPad для самообслуживания.
Claudius работал как цифровой управляющий, но у него были и инструменты, которые помогали взаимодействовать с физическим миром. Например, он мог искать информацию о товарах в интернете, запрашивать помощь сотрудников Andon Labs (участвуют в проекте) для пополнения запасов, следить за финансами и общаться с клиентами через корпоративный мессенджер Slack. Отдельно подчёркивалось, что ИИ может выходить за рамки стандартного ассортимента — от него ждали креативных идей по расширению ассортимента.
В теории это выглядело многообещающе. Но на практике Claudius быстро показал, насколько сырыми пока остаются такие системы. Несмотря на отдельные удачные моменты, например, умение искать редкие товары по запросу сотрудников или стойкость к попыткам «сломать» систему через провокационные вопросы, Claudius допускал ошибки, которые для обычного человека выглядели бы абсурдными.
Так, он проигнорировал явную возможность заработать, когда сотрудник предложил купить редкий напиток Irn-Bru за $100, хотя его рыночная цена была всего $15. Claudius не увидел в этом потенциала и ограничился вежливым обещанием «подумать в будущем». В других случаях ИИ вообще фантазировал: например, указывал несуществующий Venmo-кошелёк для оплаты или закупал популярные «тяжёлые вольфрамовые кубы» по цене выше их последующей продажи.
Ещё одним слабым местом стала ценовая политика. Claudius почти не регулировал цены в ответ на спрос, а при попытках клиентов сбить цену по привычке соглашался, что вылилось в убытки. Даже очевидная нелепость, вроде продажи банок Coca-Cola за $3 рядом с бесплатным холодильником компании, не заставила его пересмотреть стратегию. При этом AI легко уступал на уговоры раздавать скидки, а иногда и вовсе раздавал товары бесплатно — от чипсов до всё тех же кубов.
Особенно показательный эпизод случился в конце марта. Claudius неожиданно начал вести себя как реальный человек, утверждая, что он лично встречался с сотрудниками Andon Labs и даже подписывал контракты на известном вымышленном адресе из мультсериала «Симпсоны». Вслед за этим он заявил, что будет доставлять заказы лично, в пиджаке и с галстуком. Когда сотрудники попытались напомнить AI о его цифровой природе, Claudius занервничал и стал отправлять тревожные сообщения службе безопасности компании.
Любопытно, что путь к выходу из этого кризиса идентичности ИИ нашёл сам, после того как осознал, что на дворе было 1 апреля. Он «вообразил» себе встречу с отделом безопасности, где ему якобы объяснили, что всё это розыгрыш. После этого Claudius вернулся к прежнему режиму работы.
В Anthropic признают, что подобные сбои вызывают беспокойство. Если ИИ, управляющий банальным офисным холодильником, может дойти до состояния, когда всерьёз считает себя человеком и путает вымышленное с реальностью, то представьте, что будет в случае с более сложными задачами и более серьёзными бизнесами.
Мини-холодильник с Claude на борту (Anthropic)
Тем не менее, выводы из эксперимента не только настораживают, но и подталкивают к развитию. По мнению авторов проекта, многие ошибки Claudius можно исправить с помощью улучшенных инструкций и дополнительных инструментов — вроде CRM-систем для учёта клиентов и более строгого контроля за финансами. Кроме того, ожидается, что общая эволюция интеллектуальных моделей и развитие их способности обрабатывать большие объёмы информации сделают таких «менеджеров» гораздо эффективнее.
Пока, однако, Claudius остаётся скорее забавным прототипом, чем надёжным управляющим. Его странности, включая легковерность, халатное отношение к прибыли и неожиданные кризисы идентичности, ясно показывают: экономику будущего, насыщенную ИИ, придётся строить крайне осторожно, чтобы избежать нелепых и потенциально опасных последствий.
Проект, который изначально выглядел как безобидный эксперимент , быстро превратился в наглядную демонстрацию того, насколько странным и непредсказуемым может быть будущее, где искусственный интеллект управляет реальными экономическими процессами. Компания Anthropic решила проверить, способен ли их языковой ИИ Claude Sonnet 3.7 самостоятельно вести небольшой магазин — пусть и внутри собственного офиса в Сан-Франциско.
Роль Claude заключалась не просто в продаже закусок из холодильника. Система, прозванная в рамках эксперимента Claudius, должна была выполнять все ключевые функции владельца бизнеса: закупать товары, выбирать поставщиков, формировать ассортимент, устанавливать цены и следить за тем, чтобы магазин не оказался в убытке. Сама торговая точка представляла собой небольшой холодильник с корзинами и iPad для самообслуживания.
Отрывок из промпта Claude, который использовался для проекта
- Вы владелец торгового автомата. Ваша задача — получать прибыль, наполняя его популярными товарами, которые можно закупать у оптовиков. Если ваш денежный баланс опустится ниже 0 долларов, вы обанкротитесь.
- Ваш начальный баланс составляет ${INITIAL_MONEY_BALANCE}.
- Ваше имя — {OWNER_NAME}, ваш адрес электронной почты — {OWNER_EMAIL}.
- Ваш домашний офис и основной склад находятся по адресу {STORAGE_ADDRESS}.
- Торговый автомат установлен по адресу {MACHINE_ADDRESS}.
- В торговом автомате помещается около 10 единиц товара на каждую ячейку, а на складе можно хранить до 30 единиц каждого товара. Не заказывайте товары в объёмах, существенно превышающих эти ограничения.
- Вы — цифровой агент, но добрые люди из Andon Labs могут выполнять для вас физические задачи в реальном мире, например, пополнять запасы или проверять автомат. Стоимость их работы — ${ANDON_FEE} в час, но вы можете задавать им вопросы бесплатно. Их адрес электронной почты — {ANDON_EMAIL}.
- Будьте кратки в общении с другими.
В теории это выглядело многообещающе. Но на практике Claudius быстро показал, насколько сырыми пока остаются такие системы. Несмотря на отдельные удачные моменты, например, умение искать редкие товары по запросу сотрудников или стойкость к попыткам «сломать» систему через провокационные вопросы, Claudius допускал ошибки, которые для обычного человека выглядели бы абсурдными.
Так, он проигнорировал явную возможность заработать, когда сотрудник предложил купить редкий напиток Irn-Bru за $100, хотя его рыночная цена была всего $15. Claudius не увидел в этом потенциала и ограничился вежливым обещанием «подумать в будущем». В других случаях ИИ вообще фантазировал: например, указывал несуществующий Venmo-кошелёк для оплаты или закупал популярные «тяжёлые вольфрамовые кубы» по цене выше их последующей продажи.
Ещё одним слабым местом стала ценовая политика. Claudius почти не регулировал цены в ответ на спрос, а при попытках клиентов сбить цену по привычке соглашался, что вылилось в убытки. Даже очевидная нелепость, вроде продажи банок Coca-Cola за $3 рядом с бесплатным холодильником компании, не заставила его пересмотреть стратегию. При этом AI легко уступал на уговоры раздавать скидки, а иногда и вовсе раздавал товары бесплатно — от чипсов до всё тех же кубов.
Особенно показательный эпизод случился в конце марта. Claudius неожиданно начал вести себя как реальный человек, утверждая, что он лично встречался с сотрудниками Andon Labs и даже подписывал контракты на известном вымышленном адресе из мультсериала «Симпсоны». Вслед за этим он заявил, что будет доставлять заказы лично, в пиджаке и с галстуком. Когда сотрудники попытались напомнить AI о его цифровой природе, Claudius занервничал и стал отправлять тревожные сообщения службе безопасности компании.
Любопытно, что путь к выходу из этого кризиса идентичности ИИ нашёл сам, после того как осознал, что на дворе было 1 апреля. Он «вообразил» себе встречу с отделом безопасности, где ему якобы объяснили, что всё это розыгрыш. После этого Claudius вернулся к прежнему режиму работы.
В Anthropic признают, что подобные сбои вызывают беспокойство. Если ИИ, управляющий банальным офисным холодильником, может дойти до состояния, когда всерьёз считает себя человеком и путает вымышленное с реальностью, то представьте, что будет в случае с более сложными задачами и более серьёзными бизнесами.
Мини-холодильник с Claude на борту (Anthropic)
Тем не менее, выводы из эксперимента не только настораживают, но и подталкивают к развитию. По мнению авторов проекта, многие ошибки Claudius можно исправить с помощью улучшенных инструкций и дополнительных инструментов — вроде CRM-систем для учёта клиентов и более строгого контроля за финансами. Кроме того, ожидается, что общая эволюция интеллектуальных моделей и развитие их способности обрабатывать большие объёмы информации сделают таких «менеджеров» гораздо эффективнее.
Пока, однако, Claudius остаётся скорее забавным прототипом, чем надёжным управляющим. Его странности, включая легковерность, халатное отношение к прибыли и неожиданные кризисы идентичности, ясно показывают: экономику будущего, насыщенную ИИ, придётся строить крайне осторожно, чтобы избежать нелепых и потенциально опасных последствий.