--- title: 网站上的机器人 url: https://ftrlg.com/zh/wiki/web-bots/ lang: zh published: 2026-10-28 version: 1 summary: 超过一半的网络流量来自程序。它们是谁：搜索引擎、用于训练和搜索的 AI 爬虫、按用户请求抓取的程序、SEO 机器人、漏洞扫描器和冒充者——以及它们实际上在做什么。 cite_as: "future.log, «网站上的机器人», https://ftrlg.com/zh/wiki/web-bots/" license: CC BY 4.0 https://creativecommons.org/licenses/by/4.0/ --- # 网站上的机器人 **网站上的机器人**（bot）是自行请求网页的程序：搜索引擎爬虫、为 AI 收集数据的爬虫、按用户的要求打开网页的助手、分析服务和漏洞扫描器。据 Imperva 估计，2024 年自动化流量十年来首次超过人类流量，占全部网络流量的 51%，2025 年又升至 53%。[^1][^2] 如实报出身份的机器人很容易识别：看用户代理（User-Agent），再核对地址即可。其余的就难了：爬虫伪装成浏览器，扫描器搜寻别人的密码，冒充者自称 Googlebot。所有机器人共用一条行为规则——robots.txt 文件，但它是一种请求，而不是一把锁。[^3][^4] ## 历史 - **17.12.2024** Vercel 和 MERJ 报告，一个月内 GPTBot 在其网络中发出 5.69 亿次请求，ClaudeBot 为 3.7 亿次；除 Googlebot 和 Applebot 外，大型 AI 爬虫都不执行 JavaScript。[^5] - **15.04.2025** Imperva：2024 年自动化流量占全部网络流量的 51%，恶意机器人占 37%。[^1] - **01.07.2025** Cloudflare 称自己是第一家默认让新网站选择屏蔽 AI 爬虫的基础设施公司，并推出按抓取付费（pay per crawl）的测试版。[^6] - **04.08.2025** Cloudflare 指责 Perplexity 秘密抓取：被屏蔽的机器人继续伪装成普通的 Chrome 浏览器访问，不断更换地址和网络——涉及数万个域名，每天数百万次请求。[^7] - **29.08.2025** Cloudflare：AI 机器人的活动中近 80% 是为训练收集数据；7 月，[Anthropic](https://ftrlg.com/zh/models/anthropic/) 的爬虫每给网站带来一名访客，就要抓取约 3.8 万个页面。[^8] - **15.12.2025** Cloudflare 的 2025 年度总结：AI 机器人平均占 HTML 请求的 4.2%，而同时为搜索和 AI 收集数据的 Googlebot 占 4.5%；按用户请求进行的抓取增长了 15 倍以上。[^9] - **26.03.2026** 维基媒体基金会报告（数据于 4 月更新），它屏蔽或限速了来自不遵守规则的爬虫的约 30% 的自动化请求，而这些爬虫已转向“住宅代理”——借用别人的家庭和移动网络地址。[^10] - **29.04.2026** Imperva：机器人占全部网络流量的 53% 以上。[^2] ## 机器人的类型 **搜索。** Googlebot、Applebot、Bingbot 为搜索建立索引。它们的真实性可以核验：Google 建议对地址做反向 DNS 查询，确认主机名以 googlebot.com、google.com 或 googleusercontent.com 结尾，再用正向查询确认该主机名指向同一地址。Apple 的 Applebot 服务于 Spotlight、Siri 和 Safari，但它的数据也可能被用于训练 Apple 的模型。[^11][^12] **AI 训练。** [OpenAI](https://ftrlg.com/zh/models/openai/) 的 GPTBot、Anthropic 的 ClaudeBot、[Meta](https://ftrlg.com/zh/models/meta/) 的 Meta-ExternalAgent、Amazon 的 Amazonbot、Common Crawl 的 CCBot 收集用来训练模型的文本。它们几乎不给网站带来访客——这正是 Cloudflare 统计的抓取页面数与点击来访之间的差距。[^3][^4][^13][^14][^8] **AI 搜索。** OAI-SearchBot、Claude-SearchBot、PerplexityBot 以及一批新服务——推特前首席执行官帕拉格·阿格拉瓦尔（Parag Agrawal）的公司 Parallel Web Systems 的 ShapBot、Exa 的爬虫和 KeenableBot——建立供 AI 助手和智能体作答的索引。Keenable 由 [Yandex](https://ftrlg.com/zh/models/yandex/) 前搜索、AI 和云业务负责人安德烈·斯特斯金（Andrey Styskin）与马蒂亚斯·佩特里（Matthias Petri）创立；公司称其索引超过 1000 亿份文档。[^3][^15][^31][^16][^17] **按用户请求。** ChatGPT-User、Claude-User、Perplexity-User 在用户问到某个网页时去打开它。OpenAI 写道，由于这些操作由用户发起，robots.txt 规则“可能不适用”；Perplexity 则说，它的这种抓取程序“通常会忽略” robots.txt；相反，Anthropic 承诺其所有机器人都遵守禁止抓取的指令。[^3][^18][^4] **SEO 机器人。** SemrushBot、AhrefsBot、MJ12bot（Majestic）为搜索引擎优化服务收集网站之间的链接。据 Cloudflare 数据，2025 年 SEO 机器人占经过验证的机器人请求的 13% 以上。[^19][^32][^33][^9] **漏洞扫描器。** 最常见的“访客”找的不是文本，而是薄弱环节：存有密码的 `.env` 文件、`.git` 目录、WordPress 登录页及其旧文件——例如 wlwmanifest.xml，WordPress 从 2023 年起就不再附带它。[^34]一位 SANS 研究人员在 robots.txt 中禁止了常见路径，在他的实验中，违规者一年里请求最多的是 /wp-login.php——1140 次；在另一位研究人员的日志中，仅 /.env 一个路径就有超过 2.2 万次请求。GreyNoise 在 2025 年 4 月观察到搜寻 `.git/config` 的激增——4 月 20 日至 21 日每天近 4800 个地址，远高于平常水平，而过去 90 天里做这件事的地址中 95% 是恶意的。[^20][^21][^22] **冒充者。** 冒用别人的名字只需一行字：Common Crawl 直接警告说，“我们注意到有爬虫冒充 CCBot”。因此，不核验地址，用户代理什么也证明不了。[^14][^11] ## 数据 **机器人有多少——取决于谁来统计** | 谁、何时 | 统计了什么 | 结果 | |---|---|---| | Imperva，29.04.2026[^2] | 2025 年全部网络流量 | 机器人占 53% 以上。 | | Fastly，19.08.2025[^23] | Fastly 网络中 AI 机器人的流量，2025 年 4 月至 7 月 | 爬虫（而非按用户请求抓取的程序）占 AI 机器人流量的近 80%；其中 Meta 的爬虫占 52%，Google 占 23%，OpenAI 占 20%。 | | Cloudflare，15.12.2025[^9] | 2025 年在 HTML 请求中的占比 | AI 机器人平均 4.2%，Googlebot 4.5%；截至 12 月 2 日，人类贡献了 47% 的 HTML 请求，非 AI 机器人为 44%。 | | Ahrefs，15.06.2026[^24] | 13.7 万个网站的服务器日志，2026 年 5 月 | 28% 的域名发布了 llms.txt，但其中 97% 的文件没有收到任何请求。 | | Read the Docs，25.07.2024[^25] | 2024 年 5 月的一个 AI 爬虫 | 下载了 73 TB 压缩的 HTML，单日近 10 TB，反复下载同样的文件。 | > **[编辑部结论]** 统计同一样东西时，数字是吻合的：在 Imperva 的数据里，机器人占全部流量的一半以上；在 Cloudflare 的数据里，人类贡献的 HTML 请求不到一半。相差数倍的情况，出现在把全部机器人与仅 AI 机器人相比，或比较不同网络的时候。共同点只有一个：程序的占比在增长，AI 爬虫拿走很多，却很少给网站带回访客。 **llms.txt。** 这是一种写给语言模型的 Markdown 文件，由杰里米·霍华德于 2024 年提出。Ahrefs 发现几乎没有人读它；据 Search Engine Journal 转述，Google 员工约翰·穆勒（John Mueller）把它比作 keywords 元标签，而搜索引擎早已不再考虑这个标签。[^26][^24][^27] ## 批评 **robots.txt 只是请求。** 大型运营者承诺遵守它，但这条规则是自愿的。Perplexity 的秘密抓取、维基媒体遇到的“住宅代理”以及 SourceHut 的抱怨都表明，一部分爬虫会绕过它：SourceHut 创始人德鲁·德沃尔特（Drew DeVault）写道，AI 爬虫来自数万个、主要是家庭网络的地址，每个地址只发一次请求。[^7][^10][^28] **只有负担，没有回报。** 自 2024 年 1 月起，维基媒体下载多媒体文件的流量增长了 50%，主要来自机器人，而最昂贵的流量中至少 65% 来自机器人，尽管机器人在页面浏览量中只占约 35%。[^29] **陷阱。** 一个老办法是在 robots.txt 中禁止某个路径，并用隐藏链接指向它：守规矩的机器人不会去那里，违规者就会暴露自己。[^35]一位 SANS 研究人员在 robots.txt 中禁止了常见路径，他得出结论：只用一个蜜罐页面，或许就能抓住相当一部分“坏”机器人的行为。[^20] ## 发展 **用签名代替名字。** ShapBot 和 Exa 的爬虫按基于 HTTP Message Signatures（RFC 9421）的 Web Bot Auth 方案为请求签名——网站无需地址列表，就能核验请求确实来自机器人自称的那一方。[^15][^16] **收费与屏蔽。** Cloudflare 默认让新网站选择屏蔽 AI 爬虫，允许按抓取收费，还能把违规者引入由生成页面构成的迷宫。[^6][^30] > **[编辑部结论]** 网络把访客分成两类：一类报出身份并遵守规则，另一类躲在别人的名字或浏览器后面。对前者，出现了签名、付费和规则；对后者，剩下的是陷阱、地址核验和屏蔽——还有一场竞赛，爬虫已经开始转向家庭网络地址。 ## 参见 [死亡互联网理论](https://ftrlg.com/zh/wiki/dead-internet-theory/) · [验证码之死](https://ftrlg.com/zh/wiki/death-of-captcha/) · [行为生物识别](https://ftrlg.com/zh/wiki/behavioral-biometrics/) · [移动目标防御](https://ftrlg.com/zh/wiki/moving-target-defense/) · [AI 时代的维基百科](https://ftrlg.com/zh/wiki/wikipedia-after-ai/) · [Markdown](https://ftrlg.com/zh/wiki/markdown/) ## 参考资料 [^1]: 2025 Imperva Bad Bot Report: How AI is Supercharging the Bot Threat — Imperva, 15.04.2025. [imperva.com](https://www.imperva.com/blog/2025-imperva-bad-bot-report-how-ai-is-supercharging-the-bot-threat/) [^2]: Bad Bot Report 2026: Bots in the Agentic Age — Imperva, 29.04.2026. [imperva.com](https://www.imperva.com/blog/bad-bot-report-2026-bots-agentic-age/) [^3]: Overview of OpenAI Crawlers — OpenAI. [developers.openai.com](https://developers.openai.com/api/docs/bots) [^4]: Does Anthropic crawl data from the web, and how can site owners block the crawler? — Claude Help Center, 07.04.2026. [support.claude.com](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) [^5]: The rise of the AI crawler — Vercel, 17.12.2024. [vercel.com](https://vercel.com/blog/the-rise-of-the-ai-crawler) [^6]: Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large — Cloudflare, 01.07.2025. [cloudflare.com](https://www.cloudflare.com/press/press-releases/2025/cloudflare-just-changed-how-ai-crawlers-scrape-the-internet-at-large/) [^7]: Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives — Cloudflare, 04.08.2025. [blog.cloudflare.com](https://blog.cloudflare.com/perplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives/) [^8]: The crawl-to-click gap: Cloudflare data on AI bots, training, and referrals — Cloudflare, 29.08.2025. [blog.cloudflare.com](https://blog.cloudflare.com/crawlers-click-ai-bots-training/) [^9]: The 2025 Cloudflare Radar Year in Review — Cloudflare, 15.12.2025. [blog.cloudflare.com](https://blog.cloudflare.com/radar-2025-year-in-review/) [^10]: Quo Vadis, Crawlers? Progress and what's next on safeguarding our infrastructure — Wikimedia Foundation, 26.03.2026. [diff.wikimedia.org](https://diff.wikimedia.org/2026/03/26/quo-vadis-crawlers-progress-and-whats-next-on-safeguarding-our-infrastructure/) [^11]: Verify Requests from Google Crawlers and Fetchers — Google, 20.03.2026. [developers.google.com](https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot) [^12]: About Applebot — Apple, 04.09.2026. [support.apple.com](https://support.apple.com/en-us/119829) [^13]: Meta-Webcrawler — Meta for Developers. [developers.facebook.com](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/) [^14]: CCBot — Common Crawl. [commoncrawl.org](https://commoncrawl.org/ccbot) [^15]: Crawler — Parallel Web Systems. [docs.parallel.ai](https://docs.parallel.ai/resources/crawler) [^16]: Exa Search Crawler — Exa, 30.07.2026. [crawler.exa.ai](https://crawler.exa.ai/) [^17]: Accel-backed Keenable is indexing the web for AI agents — TechCrunch, 25.08.2026. [techcrunch.com](https://techcrunch.com/2026/08/25/accel-backed-keenable-is-indexing-the-web-for-ai-agents/) [^18]: Perplexity Crawlers — Perplexity. [docs.perplexity.ai](https://docs.perplexity.ai/guides/bots) [^19]: Semrush Bot — Semrush. [semrush.com](https://www.semrush.com/bot/) [^20]: What pages do bad bots look for? — SANS Internet Storm Center, 01.08.2020. [isc.sans.edu](https://isc.sans.edu/diary/26414) [^21]: Increased Number of Configuration File Scans — SANS Internet Storm Center, 03.05.2023. [isc.sans.edu](https://isc.sans.edu/diary/29806) [^22]: Spike in Git Configuration Crawling Highlights Risk of Codebase Exposure — GreyNoise, 28.04.2025. [greynoise.io](https://www.greynoise.io/blog/spike-git-configuration-crawling-risk-codebase-exposure) [^23]: New Fastly Threat Research Reveals AI crawlers make up almost 80% of AI bot traffic — Fastly, 19.08.2025. [fastly.com](https://www.fastly.com/press/press-releases/new-fastly-threat-research-reveals-ai-crawlers-make-up-almost-80-of-ai-bot) [^24]: We Analyzed 137K Sites: 97% of llms.txt Files Never Get Read — Ahrefs, 15.06.2026. [ahrefs.com](https://ahrefs.com/blog/llmstxt-study/) [^25]: AI crawlers need to be more respectful — Read the Docs, 25.07.2024. [about.readthedocs.com](https://about.readthedocs.com/blog/2024/07/ai-crawlers-abuse/) [^26]: The /llms.txt file — Jeremy Howard (llmstxt.org), 03.09.2024. [llmstxt.org](https://llmstxt.org/) [^27]: Google Says LLMs.Txt Comparable To Keywords Meta Tag — Search Engine Journal, 17.04.2025. [searchenginejournal.com](https://www.searchenginejournal.com/google-says-llms-txt-comparable-to-keywords-meta-tag/544804/) [^28]: Please stop externalizing your costs directly into my face — Drew DeVault, 17.03.2025. [drewdevault.com](https://drewdevault.com/blog/Stop-externalizing-your-costs-on-me/) [^29]: How crawlers impact the operations of the Wikimedia projects — Wikimedia Foundation, 01.04.2025. [diff.wikimedia.org](https://diff.wikimedia.org/2025/04/01/how-crawlers-impact-the-operations-of-the-wikimedia-projects/) [^30]: Trapping misbehaving bots in an AI Labyrinth — Cloudflare, 19.03.2025. [blog.cloudflare.com](https://blog.cloudflare.com/ai-labyrinth/) [^31]: Parallel Web Systems hits $2B valuation five months after its last big raise — TechCrunch, 29.04.2026. [techcrunch.com](https://techcrunch.com/2026/04/29/parallel-web-systems-hits-2b-valuation-five-months-after-its-last-big-raise/) [^32]: Ahrefs Bots — Ahrefs. [ahrefs.com](https://ahrefs.com/robot) [^33]: MJ12Bot — Majestic. [mj12bot.com](https://mj12bot.com/) [^34]: wlwmanifest_link() — WordPress Developer Resources. [developer.wordpress.org](https://developer.wordpress.org/reference/functions/wlwmanifest_link/) [^35]: Easy PHP Blackhole Trap with WHOIS Lookup for Bad Bots — Perishable Press. [perishablepress.com](https://perishablepress.com/blackhole-bad-bots/) — future.log, «网站上的机器人», https://ftrlg.com/zh/wiki/web-bots/ · CC BY 4.0