Один разработчик остановил армию ИИ-ботов. Его проект теперь используют GNOME и ЮНЕСКО

Anubis научился отличать людей от машин без капчи и лишнего шума.


ui7jowll3qfob454croec5fkrzkcj73j.jpg


В борьбе с назойливыми ИИ-ботами, собирающими данные с интернета, появилась мощная альтернатива, пришедшая не из крупных компаний, по типу Cloudflare , а от простых энтузиастов.

В начале 2025 года разработчик под псевдонимом Зи Иясо (Xe Iaso) выпустил открытое программное решение под названием Anubis , предназначенное для защиты сайтов от автоматических сборщиков данных. За несколько месяцев его скачали почти 200 тысяч раз, и сейчас его используют такие проекты, как GNOME — популярная среда рабочего стола на Linux, мультимедийный фреймворк FFmpeg, а также ЮНЕСКО.

Идея создания Anubis возникла после того, как собственный Git-сервер Зи начал сбоить из-за массовых запросов от ботов, собирающих данные для обучения нейросетей. Проблема проявилась неожиданно: сайт стал недоступен, и при проверке логов оказалось, что сервер перезапускался сотни раз за двое суток. Причиной оказалась активность бота, идентифицирующего себя как Amazon, который сканировал буквально каждую ссылку. Отключить открытый доступ к серверу не входило в планы, поэтому Зи решил искать другие методы защиты.

Сначала попытки ограничить доступ оказались безуспешными. Тогда разработчик загрузил экспериментальный код на GitHub, и проект быстро привлёк внимание: первым его протестировал GNOME . Это стало началом стремительного роста популярности Anubis.

Многие методы, ранее использовавшиеся для защиты от сканеров, вроде «robots.txt» или CAPTCHA , стали неэффективны. Современные боты умеют обходить эти меры. Некоторые разработчики начали создавать «бесконечные лабиринты» — системы переадресации по бесполезным ссылкам, чтобы «утомить» ботов. Похожее решение реализовала и компания Cloudflare с функцией AI Labyrinth . Однако подобные подходы требуют серьёзных вычислительных ресурсов, что делает их непрактичными для небольших сайтов.

По словам Зи, отравление обучающих выборок, популярное среди борцов с генеративными ИИ, не даёт реального эффекта — слишком затратно и не останавливает сам процесс. Вместо этого Anubis действует иначе: он проверяет, действительно ли посетитель сайта — человек, работающий через браузер, а не бот.

Для этого Anubis заставляет браузер выполнять криптографические вычисления с помощью JavaScript, доказывая, что у пользователя действительно есть рабочий браузер. Такой механизм незаметен для людей, но для ботов — серьёзное препятствие. Чтобы обойти его, ИИ-ботам пришлось бы выполнять эти вычисления в массовом масштабе, что требует колоссальных затрат ресурсов. А для обычных пользователей это практически неощутимо.

Среди преимуществ Anubis — открытый исходный код, лёгкость установки, возможность самостоятельного хостинга и совместимость с большинством платформ. Несмотря на успех, проект требует постоянного развития. Сейчас Зи работает над версиями, которые меньше нагружают процессоры пользователей и могут функционировать без JavaScript — важный шаг для тех, кто заботится о приватности и отключает выполнение скриптов в браузере.

Одной из главных трудностей автор называет поиск баланса между блокировкой автоматических систем и недопущением ложных срабатываний, затрагивающих обычных людей. Кроме того, важно не дать ботам понять, как именно они были заблокированы, но при этом предоставить пользователям возможность понять, что случилось, и обратиться за помощью.

Разработка Anubis остаётся делом энтузиазма: Зи финансирует проект через Patreon и спонсорство на GitHub, но пока не может позволить себе заниматься им на постоянной основе. Он также хотел бы нанять одного из ключевых участников сообщества, если позволит бюджет.

Интернет продолжает превращаться в арену противостояния между автоматическими системами сбора данных и теми, кто стремится защитить свои ресурсы. Anubis стал одной из самых эффективных независимых инициатив в этой борьбе. И, похоже, ИИ-компании уже внимательно следят за его развитием.