Один разработчик остановил армию ИИ-ботов. Его проект теперь используют GNOME и ЮНЕСКО
NewsMakerAnubis научился отличать людей от машин без капчи и лишнего шума.
В борьбе с назойливыми ИИ-ботами, собирающими данные с интернета, появилась мощная альтернатива, пришедшая не из крупных компаний, по типу Cloudflare , а от простых энтузиастов.
В начале 2025 года разработчик под псевдонимом Зи Иясо (Xe Iaso) выпустил открытое программное решение под названием Anubis , предназначенное для защиты сайтов от автоматических сборщиков данных. За несколько месяцев его скачали почти 200 тысяч раз, и сейчас его используют такие проекты, как GNOME — популярная среда рабочего стола на Linux, мультимедийный фреймворк FFmpeg, а также ЮНЕСКО.
Идея создания Anubis возникла после того, как собственный Git-сервер Зи начал сбоить из-за массовых запросов от ботов, собирающих данные для обучения нейросетей. Проблема проявилась неожиданно: сайт стал недоступен, и при проверке логов оказалось, что сервер перезапускался сотни раз за двое суток. Причиной оказалась активность бота, идентифицирующего себя как Amazon, который сканировал буквально каждую ссылку. Отключить открытый доступ к серверу не входило в планы, поэтому Зи решил искать другие методы защиты.
Сначала попытки ограничить доступ оказались безуспешными. Тогда разработчик загрузил экспериментальный код на GitHub, и проект быстро привлёк внимание: первым его протестировал GNOME . Это стало началом стремительного роста популярности Anubis.
Многие методы, ранее использовавшиеся для защиты от сканеров, вроде «robots.txt» или CAPTCHA , стали неэффективны. Современные боты умеют обходить эти меры. Некоторые разработчики начали создавать «бесконечные лабиринты» — системы переадресации по бесполезным ссылкам, чтобы «утомить» ботов. Похожее решение реализовала и компания Cloudflare с функцией AI Labyrinth . Однако подобные подходы требуют серьёзных вычислительных ресурсов, что делает их непрактичными для небольших сайтов.
По словам Зи, отравление обучающих выборок, популярное среди борцов с генеративными ИИ, не даёт реального эффекта — слишком затратно и не останавливает сам процесс. Вместо этого Anubis действует иначе: он проверяет, действительно ли посетитель сайта — человек, работающий через браузер, а не бот.
Для этого Anubis заставляет браузер выполнять криптографические вычисления с помощью JavaScript, доказывая, что у пользователя действительно есть рабочий браузер. Такой механизм незаметен для людей, но для ботов — серьёзное препятствие. Чтобы обойти его, ИИ-ботам пришлось бы выполнять эти вычисления в массовом масштабе, что требует колоссальных затрат ресурсов. А для обычных пользователей это практически неощутимо.
Среди преимуществ Anubis — открытый исходный код, лёгкость установки, возможность самостоятельного хостинга и совместимость с большинством платформ. Несмотря на успех, проект требует постоянного развития. Сейчас Зи работает над версиями, которые меньше нагружают процессоры пользователей и могут функционировать без JavaScript — важный шаг для тех, кто заботится о приватности и отключает выполнение скриптов в браузере.
Одной из главных трудностей автор называет поиск баланса между блокировкой автоматических систем и недопущением ложных срабатываний, затрагивающих обычных людей. Кроме того, важно не дать ботам понять, как именно они были заблокированы, но при этом предоставить пользователям возможность понять, что случилось, и обратиться за помощью.
Разработка Anubis остаётся делом энтузиазма: Зи финансирует проект через Patreon и спонсорство на GitHub, но пока не может позволить себе заниматься им на постоянной основе. Он также хотел бы нанять одного из ключевых участников сообщества, если позволит бюджет.
Интернет продолжает превращаться в арену противостояния между автоматическими системами сбора данных и теми, кто стремится защитить свои ресурсы. Anubis стал одной из самых эффективных независимых инициатив в этой борьбе. И, похоже, ИИ-компании уже внимательно следят за его развитием.
В борьбе с назойливыми ИИ-ботами, собирающими данные с интернета, появилась мощная альтернатива, пришедшая не из крупных компаний, по типу Cloudflare , а от простых энтузиастов.
В начале 2025 года разработчик под псевдонимом Зи Иясо (Xe Iaso) выпустил открытое программное решение под названием Anubis , предназначенное для защиты сайтов от автоматических сборщиков данных. За несколько месяцев его скачали почти 200 тысяч раз, и сейчас его используют такие проекты, как GNOME — популярная среда рабочего стола на Linux, мультимедийный фреймворк FFmpeg, а также ЮНЕСКО.
Идея создания Anubis возникла после того, как собственный Git-сервер Зи начал сбоить из-за массовых запросов от ботов, собирающих данные для обучения нейросетей. Проблема проявилась неожиданно: сайт стал недоступен, и при проверке логов оказалось, что сервер перезапускался сотни раз за двое суток. Причиной оказалась активность бота, идентифицирующего себя как Amazon, который сканировал буквально каждую ссылку. Отключить открытый доступ к серверу не входило в планы, поэтому Зи решил искать другие методы защиты.
Сначала попытки ограничить доступ оказались безуспешными. Тогда разработчик загрузил экспериментальный код на GitHub, и проект быстро привлёк внимание: первым его протестировал GNOME . Это стало началом стремительного роста популярности Anubis.
Многие методы, ранее использовавшиеся для защиты от сканеров, вроде «robots.txt» или CAPTCHA , стали неэффективны. Современные боты умеют обходить эти меры. Некоторые разработчики начали создавать «бесконечные лабиринты» — системы переадресации по бесполезным ссылкам, чтобы «утомить» ботов. Похожее решение реализовала и компания Cloudflare с функцией AI Labyrinth . Однако подобные подходы требуют серьёзных вычислительных ресурсов, что делает их непрактичными для небольших сайтов.
По словам Зи, отравление обучающих выборок, популярное среди борцов с генеративными ИИ, не даёт реального эффекта — слишком затратно и не останавливает сам процесс. Вместо этого Anubis действует иначе: он проверяет, действительно ли посетитель сайта — человек, работающий через браузер, а не бот.
Для этого Anubis заставляет браузер выполнять криптографические вычисления с помощью JavaScript, доказывая, что у пользователя действительно есть рабочий браузер. Такой механизм незаметен для людей, но для ботов — серьёзное препятствие. Чтобы обойти его, ИИ-ботам пришлось бы выполнять эти вычисления в массовом масштабе, что требует колоссальных затрат ресурсов. А для обычных пользователей это практически неощутимо.
Среди преимуществ Anubis — открытый исходный код, лёгкость установки, возможность самостоятельного хостинга и совместимость с большинством платформ. Несмотря на успех, проект требует постоянного развития. Сейчас Зи работает над версиями, которые меньше нагружают процессоры пользователей и могут функционировать без JavaScript — важный шаг для тех, кто заботится о приватности и отключает выполнение скриптов в браузере.
Одной из главных трудностей автор называет поиск баланса между блокировкой автоматических систем и недопущением ложных срабатываний, затрагивающих обычных людей. Кроме того, важно не дать ботам понять, как именно они были заблокированы, но при этом предоставить пользователям возможность понять, что случилось, и обратиться за помощью.
Разработка Anubis остаётся делом энтузиазма: Зи финансирует проект через Patreon и спонсорство на GitHub, но пока не может позволить себе заниматься им на постоянной основе. Он также хотел бы нанять одного из ключевых участников сообщества, если позволит бюджет.
Интернет продолжает превращаться в арену противостояния между автоматическими системами сбора данных и теми, кто стремится защитить свои ресурсы. Anubis стал одной из самых эффективных независимых инициатив в этой борьбе. И, похоже, ИИ-компании уже внимательно следят за его развитием.