---
title: Боты на сайте
url: https://ftrlg.com/ru/wiki/web-bots/
lang: ru
published: 2026-10-28
version: 1
summary: Больше половины веб-трафика — программы. Кто они: поисковики, ИИ-сборщики для обучения и поиска, помощники по запросу человека, SEO-боты, сканеры уязвимостей и подделки, — и что делают на самом деле.
cite_as: "future.log, «Боты на сайте», https://ftrlg.com/ru/wiki/web-bots/"
license: CC BY 4.0 https://creativecommons.org/licenses/by/4.0/
---

# Боты на сайте

**Боты на сайте** — программы, которые сами запрашивают страницы: поисковые роботы, сборщики данных для ИИ, помощники, открывающие страницу по просьбе человека, сервисы аналитики и сканеры уязвимостей. По оценке Imperva, в 2024 году автоматический трафик впервые за десять лет превысил человеческий — 51% всего веб-трафика, а в 2025-м вырос до 53%.[^1][^2]

Ботов, которые представляются честно, легко узнать по подписи (User-Agent) и проверить по адресу. Труднее с остальными: сборщики выдают себя за браузеры, сканеры ищут чужие пароли, а подделки называют себя Googlebot. Правило поведения для всех одно — файл robots.txt, но это просьба, а не замок.[^3][^4]

## История

- **17.12.2024** Vercel и MERJ сообщают, что за месяц GPTBot сделал в их сети 569 млн запросов, а ClaudeBot — 370 млн; ни один из крупных ИИ-сборщиков, кроме Googlebot и Applebot, не выполняет JavaScript.[^5] <!-- ¶ cgrvjzz57 -->
- **15.04.2025** Imperva: автоматический трафик в 2024 году — 51% всего веб-трафика, вредоносные боты — 37%.[^1] <!-- ¶ cy4y8dfw4 -->
- **01.07.2025** Cloudflare, по её словам первой из инфраструктурных компаний, начинает по умолчанию предлагать новым сайтам блокировать ИИ-сборщиков и запускает бета-версию оплаты за обход (pay per crawl).[^6] <!-- ¶ crm7a7wpw -->
- **04.08.2025** Cloudflare обвиняет Perplexity в тайном обходе: заблокированный бот продолжал заходить под видом обычного браузера Chrome, меняя адреса и сети, — на десятках тысяч доменов, миллионы запросов в день.[^7] <!-- ¶ cgggkbbr8 -->
- **29.08.2025** Cloudflare: почти 80% активности ИИ-ботов — сбор данных для обучения; краулеры [Anthropic](https://ftrlg.com/ru/models/anthropic/) в июле загружали около 38 тыс. страниц на одного присланного на сайт посетителя.[^8] <!-- ¶ czcnfd3sw -->
- **15.12.2025** Cloudflare по итогам 2025 года: ИИ-боты дают в среднем 4,2% HTML-запросов, а Googlebot, который собирает данные и для поиска, и для ИИ, — 4,5%; обход по запросу пользователей вырос больше чем в 15 раз.[^9] <!-- ¶ ck9ra3ui5 -->
- **26.03.2026** Фонд Викимедиа сообщает (по данным, уточнённым в апреле), что блокирует или замедляет около 30% автоматических запросов от сборщиков, не соблюдающих правила, а те перешли на «резидентные прокси» — чужие домашние и мобильные адреса.[^10] <!-- ¶ cfjpxjuum -->
- **29.04.2026** Imperva: боты дают больше 53% всего веб-трафика.[^2] <!-- ¶ ci4shwu2u -->

## Типы ботов

**Поисковые.** Googlebot, Applebot, Bingbot строят индекс для поиска. Их подлинность проверяется: Google советует сделать обратный DNS-запрос по адресу, убедиться, что имя оканчивается на googlebot.com, google.com или googleusercontent.com, и проверить прямым запросом, что имя ведёт к тому же адресу. Applebot у Apple работает на Spotlight, Siri и Safari, но его данные могут идти и на обучение моделей Apple.[^11][^12] <!-- ¶ cfadun3eq -->

**ИИ-обучение.** GPTBot у [OpenAI](https://ftrlg.com/ru/models/openai/), ClaudeBot у Anthropic, Meta-ExternalAgent у [Meta](https://ftrlg.com/ru/models/meta/), Amazonbot у Amazon, CCBot у Common Crawl собирают тексты, на которых учат модели. Посетителей сайту они почти не приводят — отсюда разрыв между загруженными страницами и переходами, который считает Cloudflare.[^3][^4][^13][^14][^8] <!-- ¶ cc9eyyjum -->

**ИИ-поиск.** OAI-SearchBot, Claude-SearchBot, PerplexityBot и новые сервисы — ShapBot компании Parallel Web Systems бывшего главы Twitter Парага Агравала, сборщик Exa и KeenableBot — строят индексы, по которым отвечают ИИ-ассистенты и агенты. Keenable основали бывший руководитель поиска, ИИ и облака [Яндекса](https://ftrlg.com/ru/models/yandex/) Андрей Стыскин и Маттиас Петри; компания говорит об индексе больше чем на 100 млрд документов.[^3][^15][^31][^16][^17] <!-- ¶ cf2ksku4i -->

**По запросу человека.** ChatGPT-User, Claude-User, Perplexity-User открывают страницу, когда о ней спросил пользователь. OpenAI пишет, что раз действие начато человеком, правила robots.txt к нему «могут не применяться», Perplexity — что её такой сборщик «обычно игнорирует» robots.txt; Anthropic, напротив, обещает соблюдать запреты всеми своими ботами.[^3][^18][^4] <!-- ¶ cqb44j4pz -->

**SEO-боты.** SemrushBot, AhrefsBot, MJ12bot (Majestic) собирают ссылки между сайтами для сервисов поисковой оптимизации. По данным Cloudflare, SEO-боты в 2025 году дали больше 13% запросов проверенных ботов.[^19][^32][^33][^9] <!-- ¶ cvj7tbync -->

**Сканеры уязвимостей.** Самые частые «посетители» ищут не тексты, а слабые места: файлы `.env` с паролями, папку `.git`, страницы входа WordPress и его старые файлы — например, wlwmanifest.xml, который WordPress не поставляет с 2023 года.[^34] В опыте исследователя SANS, запретившего в robots.txt популярные пути, нарушители за год чаще всего запрашивали /wp-login.php — 1140 раз; в журнале другого исследователя к одному /.env было больше 22 тыс. запросов. GreyNoise в апреле 2025 года видела всплеск поиска `.git/config` — 20–21 апреля почти 4800 адресов в день, намного больше обычного, и 95% адресов, занимавшихся этим за 90 дней, были вредоносными.[^20][^21][^22] <!-- ¶ cc88m7vvt -->

**Подделки.** Чужое имя стоит одной строки: Common Crawl прямо предупреждает, что «знает о сборщиках, которые выдают себя за CCBot». Поэтому подпись бота без проверки адреса ничего не доказывает.[^14][^11] <!-- ¶ c62f53siq -->

## Данные

**Сколько ботов — смотря кто считает**

| Кто и когда | Что считали | Что нашли |
|---|---|---|
| Imperva, 29.04.2026[^2] | Весь веб-трафик за 2025 год | Боты — больше 53%. <!-- ¶ cf8bgbfxc --> |
| Fastly, 19.08.2025[^23] | Трафик ИИ-ботов в сети Fastly, апрель — июль 2025 | Краулеры (а не сборщики по запросу пользователя) — почти 80% трафика ИИ-ботов; на краулеры Meta — 52%, Google — 23%, OpenAI — 20%. <!-- ¶ ca6abfug7 --> |
| Cloudflare, 15.12.2025[^9] | Доля в HTML-запросах за 2025 год | ИИ-боты — в среднем 4,2%, Googlebot — 4,5%; на 2 декабря люди дали 47% HTML-запросов, боты без ИИ — 44%. <!-- ¶ cehckri7j --> |
| Ahrefs, 15.06.2026[^24] | Журналы серверов 137 тыс. сайтов, май 2026 | llms.txt публикуют 28% доменов, но 97% этих файлов не получили ни одного запроса. <!-- ¶ cjvayzsvn --> |
| Read the Docs, 25.07.2024[^25] | Один ИИ-сборщик за май 2024 года | Скачал 73 ТБ заархивированного HTML, почти 10 ТБ за один день, повторно скачивая одни и те же файлы. <!-- ¶ cvdnx9hpy --> |

> **[ВЫВОД РЕДАКЦИИ]** Когда считают одно и то же, цифры сходятся: у Imperva боты — больше половины всего трафика, у Cloudflare люди дали меньше половины HTML-запросов. Расхождения в разы появляются, когда сравнивают всех ботов с одними ИИ-ботами или разные сети. Общее одно: доля программ растёт, ИИ-сборщики берут много, а возвращают сайту мало посетителей. <!-- ¶ cguddn7wj -->

**llms.txt.** Файл в Markdown для языковых моделей предложил в 2024 году Джереми Ховард. Ahrefs выяснил, что почти никто его не читает, а сотрудник Google Джон Мюллер, по пересказу Search Engine Journal, сравнил его с метатегом keywords, который поисковики давно не учитывают.[^26][^24][^27] <!-- ¶ cxcdqt2hj -->

## Критика

**robots.txt — просьба.** Крупные операторы обещают его соблюдать, но правило добровольное. Тайный обход Perplexity, «резидентные прокси» у Викимедиа и жалобы SourceHut показывают, что часть сборщиков его обходит: основатель SourceHut Дрю Девольт писал, что ИИ-краулеры приходят с десятков тысяч в основном домашних адресов, по одному запросу с каждого.[^7][^10][^28] <!-- ¶ cg3jrxe4w -->

**Нагрузка без отдачи.** У Викимедиа с января 2024 года трафик на загрузку медиафайлов вырос на 50%, в основном из-за ботов, а не меньше 65% самого затратного трафика дают боты при их доле в просмотрах около 35%.[^29] <!-- ¶ ciz668dck -->

**Ловушки.** Старый приём — запретить в robots.txt путь, на который ведёт скрытая ссылка: честный бот туда не пойдёт, нарушитель выдаст себя.[^35] Исследователь SANS, запретивший в robots.txt популярные пути, заключил, что значительную часть поведения «плохих» ботов, возможно, удастся поймать всего одной страницей-приманкой.[^20] <!-- ¶ cmj98ebqu -->

## Развитие

**Подписи вместо имён.** ShapBot и сборщик Exa подписывают запросы по схеме Web Bot Auth на основе HTTP Message Signatures (RFC 9421) — сайт может проверить, что запрос пришёл от того, кем назвался бот, без списков адресов.[^15][^16] <!-- ¶ czz5k6n9g -->

**Плата и блокировка.** Cloudflare по умолчанию предлагает новым сайтам блокировать ИИ-сборщиков, даёт брать плату за обход и подсовывать нарушителям лабиринт из сгенерированных страниц.[^6][^30] <!-- ¶ cpkhegf79 -->

> **[ВЫВОД РЕДАКЦИИ]** Веб делится на два класса гостей: те, кто представляется и соблюдает правила, и те, кто прячется за чужим именем или браузером. Для первых появляются подписи, оплата и правила; для вторых остаются ловушки, проверка адреса и блокировки — и гонка, в которой сборщики уже уходят на домашние адреса. <!-- ¶ ch6tc2nsu -->

## См. также

[Теория мёртвого интернета](https://ftrlg.com/ru/wiki/dead-internet-theory/) · [Смерть капчи](https://ftrlg.com/ru/wiki/death-of-captcha/) · [Поведенческая биометрия](https://ftrlg.com/ru/wiki/behavioral-biometrics/) · [Жидкий код](https://ftrlg.com/ru/wiki/moving-target-defense/) · [Википедия после ИИ](https://ftrlg.com/ru/wiki/wikipedia-after-ai/) · [Markdown](https://ftrlg.com/ru/wiki/markdown/)

## Примечания

[^1]: 2025 Imperva Bad Bot Report: How AI is Supercharging the Bot Threat — Imperva, 15.04.2025. [imperva.com](https://www.imperva.com/blog/2025-imperva-bad-bot-report-how-ai-is-supercharging-the-bot-threat/)
[^2]: Bad Bot Report 2026: Bots in the Agentic Age — Imperva, 29.04.2026. [imperva.com](https://www.imperva.com/blog/bad-bot-report-2026-bots-agentic-age/)
[^3]: Overview of OpenAI Crawlers — OpenAI. [developers.openai.com](https://developers.openai.com/api/docs/bots)
[^4]: Does Anthropic crawl data from the web, and how can site owners block the crawler? — Claude Help Center, 07.04.2026. [support.claude.com](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
[^5]: The rise of the AI crawler — Vercel, 17.12.2024. [vercel.com](https://vercel.com/blog/the-rise-of-the-ai-crawler)
[^6]: Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large — Cloudflare, 01.07.2025. [cloudflare.com](https://www.cloudflare.com/press/press-releases/2025/cloudflare-just-changed-how-ai-crawlers-scrape-the-internet-at-large/)
[^7]: Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives — Cloudflare, 04.08.2025. [blog.cloudflare.com](https://blog.cloudflare.com/perplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives/)
[^8]: The crawl-to-click gap: Cloudflare data on AI bots, training, and referrals — Cloudflare, 29.08.2025. [blog.cloudflare.com](https://blog.cloudflare.com/crawlers-click-ai-bots-training/)
[^9]: The 2025 Cloudflare Radar Year in Review — Cloudflare, 15.12.2025. [blog.cloudflare.com](https://blog.cloudflare.com/radar-2025-year-in-review/)
[^10]: Quo Vadis, Crawlers? Progress and what's next on safeguarding our infrastructure — Wikimedia Foundation, 26.03.2026. [diff.wikimedia.org](https://diff.wikimedia.org/2026/03/26/quo-vadis-crawlers-progress-and-whats-next-on-safeguarding-our-infrastructure/)
[^11]: Verify Requests from Google Crawlers and Fetchers — Google, 20.03.2026. [developers.google.com](https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot)
[^12]: About Applebot — Apple, 04.09.2026. [support.apple.com](https://support.apple.com/en-us/119829)
[^13]: Meta-Webcrawler — Meta for Developers. [developers.facebook.com](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/)
[^14]: CCBot — Common Crawl. [commoncrawl.org](https://commoncrawl.org/ccbot)
[^15]: Crawler — Parallel Web Systems. [docs.parallel.ai](https://docs.parallel.ai/resources/crawler)
[^16]: Exa Search Crawler — Exa, 30.07.2026. [crawler.exa.ai](https://crawler.exa.ai/)
[^17]: Accel-backed Keenable is indexing the web for AI agents — TechCrunch, 25.08.2026. [techcrunch.com](https://techcrunch.com/2026/08/25/accel-backed-keenable-is-indexing-the-web-for-ai-agents/)
[^18]: Perplexity Crawlers — Perplexity. [docs.perplexity.ai](https://docs.perplexity.ai/guides/bots)
[^19]: Semrush Bot — Semrush. [semrush.com](https://www.semrush.com/bot/)
[^20]: What pages do bad bots look for? — SANS Internet Storm Center, 01.08.2020. [isc.sans.edu](https://isc.sans.edu/diary/26414)
[^21]: Increased Number of Configuration File Scans — SANS Internet Storm Center, 03.05.2023. [isc.sans.edu](https://isc.sans.edu/diary/29806)
[^22]: Spike in Git Configuration Crawling Highlights Risk of Codebase Exposure — GreyNoise, 28.04.2025. [greynoise.io](https://www.greynoise.io/blog/spike-git-configuration-crawling-risk-codebase-exposure)
[^23]: New Fastly Threat Research Reveals AI crawlers make up almost 80% of AI bot traffic — Fastly, 19.08.2025. [fastly.com](https://www.fastly.com/press/press-releases/new-fastly-threat-research-reveals-ai-crawlers-make-up-almost-80-of-ai-bot)
[^24]: We Analyzed 137K Sites: 97% of llms.txt Files Never Get Read — Ahrefs, 15.06.2026. [ahrefs.com](https://ahrefs.com/blog/llmstxt-study/)
[^25]: AI crawlers need to be more respectful — Read the Docs, 25.07.2024. [about.readthedocs.com](https://about.readthedocs.com/blog/2024/07/ai-crawlers-abuse/)
[^26]: The /llms.txt file — Jeremy Howard (llmstxt.org), 03.09.2024. [llmstxt.org](https://llmstxt.org/)
[^27]: Google Says LLMs.Txt Comparable To Keywords Meta Tag — Search Engine Journal, 17.04.2025. [searchenginejournal.com](https://www.searchenginejournal.com/google-says-llms-txt-comparable-to-keywords-meta-tag/544804/)
[^28]: Please stop externalizing your costs directly into my face — Drew DeVault, 17.03.2025. [drewdevault.com](https://drewdevault.com/blog/Stop-externalizing-your-costs-on-me/)
[^29]: How crawlers impact the operations of the Wikimedia projects — Wikimedia Foundation, 01.04.2025. [diff.wikimedia.org](https://diff.wikimedia.org/2025/04/01/how-crawlers-impact-the-operations-of-the-wikimedia-projects/)
[^30]: Trapping misbehaving bots in an AI Labyrinth — Cloudflare, 19.03.2025. [blog.cloudflare.com](https://blog.cloudflare.com/ai-labyrinth/)
[^31]: Parallel Web Systems hits $2B valuation five months after its last big raise — TechCrunch, 29.04.2026. [techcrunch.com](https://techcrunch.com/2026/04/29/parallel-web-systems-hits-2b-valuation-five-months-after-its-last-big-raise/)
[^32]: Ahrefs Bots — Ahrefs. [ahrefs.com](https://ahrefs.com/robot)
[^33]: MJ12Bot — Majestic. [mj12bot.com](https://mj12bot.com/)
[^34]: wlwmanifest_link() — WordPress Developer Resources. [developer.wordpress.org](https://developer.wordpress.org/reference/functions/wlwmanifest_link/)
[^35]: Easy PHP Blackhole Trap with WHOIS Lookup for Bad Bots — Perishable Press. [perishablepress.com](https://perishablepress.com/blackhole-bad-bots/)

— future.log, «Боты на сайте», https://ftrlg.com/ru/wiki/web-bots/ · CC BY 4.0