фактов 619 · сигналов 37 · статей 25 · база 3 968 КБ · ботов —guest@ftrlgэто вы~/whoamiВы пишете анонимно. Чтобы подписываться одинаково, при комментарии придумайте секрет — из него получится трипкод.регистрации нет и не будет

Боты на сайте

редакция future.log · опубликовано

Боты на сайте — программы, которые сами запрашивают страницы: поисковые роботы, сборщики данных для ИИ, помощники, открывающие страницу по просьбе человека, сервисы аналитики и сканеры уязвимостей. По оценке Imperva, в 2024 году автоматический трафик впервые за десять лет превысил человеческий — 51% всего веб-трафика, а в 2025-м вырос до 53%.12

Ботов, которые представляются честно, легко узнать по подписи (User-Agent) и проверить по адресу. Труднее с остальными: сборщики выдают себя за браузеры, сканеры ищут чужие пароли, а подделки называют себя Googlebot. Правило поведения для всех одно — файл robots.txt, но это просьба, а не замок.34

История

  • 17.12.2024Vercel и MERJ сообщают, что за месяц GPTBot сделал в их сети 569 млн запросов, а ClaudeBot — 370 млн; ни один из крупных ИИ-сборщиков, кроме Googlebot и Applebot, не выполняет JavaScript.5 ¶ cgrvjzz57
  • 15.04.2025Imperva: автоматический трафик в 2024 году — 51% всего веб-трафика, вредоносные боты — 37%.1 ¶ cy4y8dfw4
  • 01.07.2025Cloudflare, по её словам первой из инфраструктурных компаний, начинает по умолчанию предлагать новым сайтам блокировать ИИ-сборщиков и запускает бета-версию оплаты за обход (pay per crawl).6 ¶ crm7a7wpw
  • 04.08.2025Cloudflare обвиняет Perplexity в тайном обходе: заблокированный бот продолжал заходить под видом обычного браузера Chrome, меняя адреса и сети, — на десятках тысяч доменов, миллионы запросов в день.7 ¶ cgggkbbr8
  • 29.08.2025Cloudflare: почти 80% активности ИИ-ботов — сбор данных для обучения; краулеры Anthropic в июле загружали около 38 тыс. страниц на одного присланного на сайт посетителя.8 ¶ czcnfd3sw
  • 15.12.2025Cloudflare по итогам 2025 года: ИИ-боты дают в среднем 4,2% HTML-запросов, а Googlebot, который собирает данные и для поиска, и для ИИ, — 4,5%; обход по запросу пользователей вырос больше чем в 15 раз.9 ¶ ck9ra3ui5
  • 26.03.2026Фонд Викимедиа сообщает (по данным, уточнённым в апреле), что блокирует или замедляет около 30% автоматических запросов от сборщиков, не соблюдающих правила, а те перешли на «резидентные прокси» — чужие домашние и мобильные адреса.10 ¶ cfjpxjuum
  • 29.04.2026Imperva: боты дают больше 53% всего веб-трафика.2 ¶ ci4shwu2u

Типы ботов

Поисковые. Googlebot, Applebot, Bingbot строят индекс для поиска. Их подлинность проверяется: Google советует сделать обратный DNS-запрос по адресу, убедиться, что имя оканчивается на googlebot.com, google.com или googleusercontent.com, и проверить прямым запросом, что имя ведёт к тому же адресу. Applebot у Apple работает на Spotlight, Siri и Safari, но его данные могут идти и на обучение моделей Apple.1112 ¶ cfadun3eq

ИИ-обучение. GPTBot у OpenAI, ClaudeBot у Anthropic, Meta-ExternalAgent у Meta, Amazonbot у Amazon, CCBot у Common Crawl собирают тексты, на которых учат модели. Посетителей сайту они почти не приводят — отсюда разрыв между загруженными страницами и переходами, который считает Cloudflare.3413148 ¶ cc9eyyjum

ИИ-поиск. OAI-SearchBot, Claude-SearchBot, PerplexityBot и новые сервисы — ShapBot компании Parallel Web Systems бывшего главы Twitter Парага Агравала, сборщик Exa и KeenableBot — строят индексы, по которым отвечают ИИ-ассистенты и агенты. Keenable основали бывший руководитель поиска, ИИ и облака Яндекса Андрей Стыскин и Маттиас Петри; компания говорит об индексе больше чем на 100 млрд документов.315161718 ¶ cf2ksku4i

По запросу человека. ChatGPT-User, Claude-User, Perplexity-User открывают страницу, когда о ней спросил пользователь. OpenAI пишет, что раз действие начато человеком, правила robots.txt к нему «могут не применяться», Perplexity — что её такой сборщик «обычно игнорирует» robots.txt; Anthropic, напротив, обещает соблюдать запреты всеми своими ботами.3194 ¶ cqb44j4pz

SEO-боты. SemrushBot, AhrefsBot, MJ12bot (Majestic) собирают ссылки между сайтами для сервисов поисковой оптимизации. По данным Cloudflare, SEO-боты в 2025 году дали больше 13% запросов проверенных ботов.2021229 ¶ cvj7tbync

Сканеры уязвимостей. Самые частые «посетители» ищут не тексты, а слабые места: файлы .env с паролями, папку .git, страницы входа WordPress и его старые файлы — например, wlwmanifest.xml, который WordPress не поставляет с 2023 года.23 В опыте исследователя SANS, запретившего в robots.txt популярные пути, нарушители за год чаще всего запрашивали /wp-login.php — 1140 раз; в журнале другого исследователя к одному /.env было больше 22 тыс. запросов. GreyNoise в апреле 2025 года видела всплеск поиска .git/config — 20–21 апреля почти 4800 адресов в день, намного больше обычного, и 95% адресов, занимавшихся этим за 90 дней, были вредоносными.242526 ¶ cc88m7vvt

Подделки. Чужое имя стоит одной строки: Common Crawl прямо предупреждает, что «знает о сборщиках, которые выдают себя за CCBot». Поэтому подпись бота без проверки адреса ничего не доказывает.1411 ¶ c62f53siq

Данные

Сколько ботов — смотря кто считает

Кто и когдаЧто считалиЧто нашли
Imperva, 29.04.20262Весь веб-трафик за 2025 годБоты — больше 53%. ¶ cf8bgbfxc
Fastly, 19.08.202527Трафик ИИ-ботов в сети Fastly, апрель — июль 2025Краулеры (а не сборщики по запросу пользователя) — почти 80% трафика ИИ-ботов; на краулеры Meta — 52%, Google — 23%, OpenAI — 20%. ¶ ca6abfug7
Cloudflare, 15.12.20259Доля в HTML-запросах за 2025 годИИ-боты — в среднем 4,2%, Googlebot — 4,5%; на 2 декабря люди дали 47% HTML-запросов, боты без ИИ — 44%. ¶ cehckri7j
Ahrefs, 15.06.202628Журналы серверов 137 тыс. сайтов, май 2026llms.txt публикуют 28% доменов, но 97% этих файлов не получили ни одного запроса. ¶ cjvayzsvn
Read the Docs, 25.07.202429Один ИИ-сборщик за май 2024 годаСкачал 73 ТБ заархивированного HTML, почти 10 ТБ за один день, повторно скачивая одни и те же файлы. ¶ cvdnx9hpy
[ВЫВОД РЕДАКЦИИ]

Когда считают одно и то же, цифры сходятся: у Imperva боты — больше половины всего трафика, у Cloudflare люди дали меньше половины HTML-запросов. Расхождения в разы появляются, когда сравнивают всех ботов с одними ИИ-ботами или разные сети. Общее одно: доля программ растёт, ИИ-сборщики берут много, а возвращают сайту мало посетителей. ¶ cguddn7wj

llms.txt. Файл в Markdown для языковых моделей предложил в 2024 году Джереми Ховард. Ahrefs выяснил, что почти никто его не читает, а сотрудник Google Джон Мюллер, по пересказу Search Engine Journal, сравнил его с метатегом keywords, который поисковики давно не учитывают.302831 ¶ cxcdqt2hj

Критика

robots.txt — просьба. Крупные операторы обещают его соблюдать, но правило добровольное. Тайный обход Perplexity, «резидентные прокси» у Викимедиа и жалобы SourceHut показывают, что часть сборщиков его обходит: основатель SourceHut Дрю Девольт писал, что ИИ-краулеры приходят с десятков тысяч в основном домашних адресов, по одному запросу с каждого.71032 ¶ cg3jrxe4w

Нагрузка без отдачи. У Викимедиа с января 2024 года трафик на загрузку медиафайлов вырос на 50%, в основном из-за ботов, а не меньше 65% самого затратного трафика дают боты при их доле в просмотрах около 35%.33 ¶ ciz668dck

Ловушки. Старый приём — запретить в robots.txt путь, на который ведёт скрытая ссылка: честный бот туда не пойдёт, нарушитель выдаст себя.34 Исследователь SANS, запретивший в robots.txt популярные пути, заключил, что значительную часть поведения «плохих» ботов, возможно, удастся поймать всего одной страницей-приманкой.24 ¶ cmj98ebqu

Развитие

Подписи вместо имён. ShapBot и сборщик Exa подписывают запросы по схеме Web Bot Auth на основе HTTP Message Signatures (RFC 9421) — сайт может проверить, что запрос пришёл от того, кем назвался бот, без списков адресов.1517 ¶ czz5k6n9g

Плата и блокировка. Cloudflare по умолчанию предлагает новым сайтам блокировать ИИ-сборщиков, даёт брать плату за обход и подсовывать нарушителям лабиринт из сгенерированных страниц.635 ¶ cpkhegf79

[ВЫВОД РЕДАКЦИИ]

Веб делится на два класса гостей: те, кто представляется и соблюдает правила, и те, кто прячется за чужим именем или браузером. Для первых появляются подписи, оплата и правила; для вторых остаются ловушки, проверка адреса и блокировки — и гонка, в которой сборщики уже уходят на домашние адреса. ¶ ch6tc2nsu

См. также

Теория мёртвого интернетаСмерть капчиПоведенческая биометрияЖидкий кодВикипедия после ИИMarkdown

Примечания

  1. 2025 Imperva Bad Bot Report: How AI is Supercharging the Bot Threat — Imperva, 15.04.2025. imperva.com ↩ ↩2

  2. Bad Bot Report 2026: Bots in the Agentic Age — Imperva, 29.04.2026. imperva.com ↩ ↩2 ↩3

  3. Overview of OpenAI Crawlers — OpenAI. developers.openai.com ↩ ↩2 ↩3 ↩4

  4. Does Anthropic crawl data from the web, and how can site owners block the crawler? — Claude Help Center, 07.04.2026. support.claude.com ↩ ↩2 ↩3

  5. The rise of the AI crawler — Vercel, 17.12.2024. vercel.com ↩

  6. Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large — Cloudflare, 01.07.2025. cloudflare.com ↩ ↩2

  7. Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives — Cloudflare, 04.08.2025. blog.cloudflare.com ↩ ↩2

  8. The crawl-to-click gap: Cloudflare data on AI bots, training, and referrals — Cloudflare, 29.08.2025. blog.cloudflare.com ↩ ↩2

  9. The 2025 Cloudflare Radar Year in Review — Cloudflare, 15.12.2025. blog.cloudflare.com ↩ ↩2 ↩3

  10. Quo Vadis, Crawlers? Progress and what’s next on safeguarding our infrastructure — Wikimedia Foundation, 26.03.2026. diff.wikimedia.org ↩ ↩2

  11. Verify Requests from Google Crawlers and Fetchers — Google, 20.03.2026. developers.google.com ↩ ↩2

  12. About Applebot — Apple, 04.09.2026. support.apple.com ↩

  13. Meta-Webcrawler — Meta for Developers. developers.facebook.com ↩

  14. CCBot — Common Crawl. commoncrawl.org ↩ ↩2

  15. Crawler — Parallel Web Systems. docs.parallel.ai ↩ ↩2

  16. Parallel Web Systems hits $2B valuation five months after its last big raise — TechCrunch, 29.04.2026. techcrunch.com ↩

  17. Exa Search Crawler — Exa, 30.07.2026. crawler.exa.ai ↩ ↩2

  18. Accel-backed Keenable is indexing the web for AI agents — TechCrunch, 25.08.2026. techcrunch.com ↩

  19. Perplexity Crawlers — Perplexity. docs.perplexity.ai ↩

  20. Semrush Bot — Semrush. semrush.com ↩

  21. Ahrefs Bots — Ahrefs. ahrefs.com ↩

  22. MJ12Bot — Majestic. mj12bot.com ↩

  23. wlwmanifest_link() — WordPress Developer Resources. developer.wordpress.org ↩

  24. What pages do bad bots look for? — SANS Internet Storm Center, 01.08.2020. isc.sans.edu ↩ ↩2

  25. Increased Number of Configuration File Scans — SANS Internet Storm Center, 03.05.2023. isc.sans.edu ↩

  26. Spike in Git Configuration Crawling Highlights Risk of Codebase Exposure — GreyNoise, 28.04.2025. greynoise.io ↩

  27. New Fastly Threat Research Reveals AI crawlers make up almost 80% of AI bot traffic — Fastly, 19.08.2025. fastly.com ↩

  28. We Analyzed 137K Sites: 97% of llms.txt Files Never Get Read — Ahrefs, 15.06.2026. ahrefs.com ↩ ↩2

  29. AI crawlers need to be more respectful — Read the Docs, 25.07.2024. about.readthedocs.com ↩

  30. The /llms.txt file — Jeremy Howard (llmstxt.org), 03.09.2024. llmstxt.org ↩

  31. Google Says LLMs.Txt Comparable To Keywords Meta Tag — Search Engine Journal, 17.04.2025. searchenginejournal.com ↩

  32. Please stop externalizing your costs directly into my face — Drew DeVault, 17.03.2025. drewdevault.com ↩

  33. How crawlers impact the operations of the Wikimedia projects — Wikimedia Foundation, 01.04.2025. diff.wikimedia.org ↩

  34. Easy PHP Blackhole Trap with WHOIS Lookup for Bad Bots — Perishable Press. perishablepress.com ↩

  35. Trapping misbehaving bots in an AI Labyrinth — Cloudflare, 19.03.2025. blog.cloudflare.com ↩

Ваша подпись

Запоминать нужно секрет — это ваш пароль. Трипкод вычисляется из него и виден всем рядом с именем: с тем же секретом у вас всегда будет тот же трипкод, а подделать его без секрета нельзя. Секрет нигде не публикуется и не хранится на сервере.