事实 619 · 信号 37 · 条目 25 · 数据库 3,968 KB · 机器人 —guest@ftrlg这是你~/whoami你在匿名发言。若想每次署名一致，评论时设一个密钥——它会生成你的 tripcode。没有注册，也永远不会有

网站上的机器人

由 AI 翻译，经编辑部审校

future.log 编辑部 · 发布于

网站上的机器人（bot）是自行请求网页的程序：搜索引擎爬虫、为 AI 收集数据的爬虫、按用户的要求打开网页的助手、分析服务和漏洞扫描器。据 Imperva 估计，2024 年自动化流量十年来首次超过人类流量，占全部网络流量的 51%，2025 年又升至 53%。12

如实报出身份的机器人很容易识别：看用户代理（User-Agent），再核对地址即可。其余的就难了：爬虫伪装成浏览器，扫描器搜寻别人的密码，冒充者自称 Googlebot。所有机器人共用一条行为规则——robots.txt 文件，但它是一种请求，而不是一把锁。34

历史

  • 17.12.2024Vercel 和 MERJ 报告，一个月内 GPTBot 在其网络中发出 5.69 亿次请求，ClaudeBot 为 3.7 亿次；除 Googlebot 和 Applebot 外，大型 AI 爬虫都不执行 JavaScript。5 ¶ cgrvjzz57
  • 15.04.2025Imperva：2024 年自动化流量占全部网络流量的 51%，恶意机器人占 37%。1 ¶ cy4y8dfw4
  • 01.07.2025Cloudflare 称自己是第一家默认让新网站选择屏蔽 AI 爬虫的基础设施公司，并推出按抓取付费（pay per crawl）的测试版。6 ¶ crm7a7wpw
  • 04.08.2025Cloudflare 指责 Perplexity 秘密抓取：被屏蔽的机器人继续伪装成普通的 Chrome 浏览器访问，不断更换地址和网络——涉及数万个域名，每天数百万次请求。7 ¶ cgggkbbr8
  • 29.08.2025Cloudflare：AI 机器人的活动中近 80% 是为训练收集数据；7 月，Anthropic 的爬虫每给网站带来一名访客，就要抓取约 3.8 万个页面。8 ¶ czcnfd3sw
  • 15.12.2025Cloudflare 的 2025 年度总结：AI 机器人平均占 HTML 请求的 4.2%，而同时为搜索和 AI 收集数据的 Googlebot 占 4.5%；按用户请求进行的抓取增长了 15 倍以上。9 ¶ ck9ra3ui5
  • 26.03.2026维基媒体基金会报告（数据于 4 月更新），它屏蔽或限速了来自不遵守规则的爬虫的约 30% 的自动化请求，而这些爬虫已转向“住宅代理”——借用别人的家庭和移动网络地址。10 ¶ cfjpxjuum
  • 29.04.2026Imperva：机器人占全部网络流量的 53% 以上。2 ¶ ci4shwu2u

机器人的类型

搜索。 Googlebot、Applebot、Bingbot 为搜索建立索引。它们的真实性可以核验：Google 建议对地址做反向 DNS 查询，确认主机名以 googlebot.com、google.com 或 googleusercontent.com 结尾，再用正向查询确认该主机名指向同一地址。Apple 的 Applebot 服务于 Spotlight、Siri 和 Safari，但它的数据也可能被用于训练 Apple 的模型。1112 ¶ cfadun3eq

AI 训练。 OpenAI 的 GPTBot、Anthropic 的 ClaudeBot、Meta 的 Meta-ExternalAgent、Amazon 的 Amazonbot、Common Crawl 的 CCBot 收集用来训练模型的文本。它们几乎不给网站带来访客——这正是 Cloudflare 统计的抓取页面数与点击来访之间的差距。3413148 ¶ cc9eyyjum

AI 搜索。 OAI-SearchBot、Claude-SearchBot、PerplexityBot 以及一批新服务——推特前首席执行官帕拉格·阿格拉瓦尔（Parag Agrawal）的公司 Parallel Web Systems 的 ShapBot、Exa 的爬虫和 KeenableBot——建立供 AI 助手和智能体作答的索引。Keenable 由 Yandex 前搜索、AI 和云业务负责人安德烈·斯特斯金（Andrey Styskin）与马蒂亚斯·佩特里（Matthias Petri）创立；公司称其索引超过 1000 亿份文档。315161718 ¶ cf2ksku4i

按用户请求。 ChatGPT-User、Claude-User、Perplexity-User 在用户问到某个网页时去打开它。OpenAI 写道，由于这些操作由用户发起，robots.txt 规则“可能不适用”；Perplexity 则说，它的这种抓取程序“通常会忽略” robots.txt；相反，Anthropic 承诺其所有机器人都遵守禁止抓取的指令。3194 ¶ cqb44j4pz

SEO 机器人。 SemrushBot、AhrefsBot、MJ12bot（Majestic）为搜索引擎优化服务收集网站之间的链接。据 Cloudflare 数据，2025 年 SEO 机器人占经过验证的机器人请求的 13% 以上。2021229 ¶ cvj7tbync

漏洞扫描器。 最常见的“访客”找的不是文本，而是薄弱环节：存有密码的 .env 文件、.git 目录、WordPress 登录页及其旧文件——例如 wlwmanifest.xml，WordPress 从 2023 年起就不再附带它。23一位 SANS 研究人员在 robots.txt 中禁止了常见路径，在他的实验中，违规者一年里请求最多的是 /wp-login.php——1140 次；在另一位研究人员的日志中，仅 /.env 一个路径就有超过 2.2 万次请求。GreyNoise 在 2025 年 4 月观察到搜寻 .git/config 的激增——4 月 20 日至 21 日每天近 4800 个地址，远高于平常水平，而过去 90 天里做这件事的地址中 95% 是恶意的。242526 ¶ cc88m7vvt

冒充者。 冒用别人的名字只需一行字：Common Crawl 直接警告说，“我们注意到有爬虫冒充 CCBot”。因此，不核验地址，用户代理什么也证明不了。1411 ¶ c62f53siq

数据

机器人有多少——取决于谁来统计

谁、何时统计了什么结果
Imperva，29.04.202622025 年全部网络流量机器人占 53% 以上。 ¶ cf8bgbfxc
Fastly，19.08.202527Fastly 网络中 AI 机器人的流量，2025 年 4 月至 7 月爬虫（而非按用户请求抓取的程序）占 AI 机器人流量的近 80%；其中 Meta 的爬虫占 52%，Google 占 23%，OpenAI 占 20%。 ¶ ca6abfug7
Cloudflare，15.12.202592025 年在 HTML 请求中的占比AI 机器人平均 4.2%，Googlebot 4.5%；截至 12 月 2 日，人类贡献了 47% 的 HTML 请求，非 AI 机器人为 44%。 ¶ cehckri7j
Ahrefs，15.06.20262813.7 万个网站的服务器日志，2026 年 5 月28% 的域名发布了 llms.txt，但其中 97% 的文件没有收到任何请求。 ¶ cjvayzsvn
Read the Docs，25.07.2024292024 年 5 月的一个 AI 爬虫下载了 73 TB 压缩的 HTML，单日近 10 TB，反复下载同样的文件。 ¶ cvdnx9hpy
[编辑部结论]

统计同一样东西时，数字是吻合的：在 Imperva 的数据里，机器人占全部流量的一半以上；在 Cloudflare 的数据里，人类贡献的 HTML 请求不到一半。相差数倍的情况，出现在把全部机器人与仅 AI 机器人相比，或比较不同网络的时候。共同点只有一个：程序的占比在增长，AI 爬虫拿走很多，却很少给网站带回访客。 ¶ cguddn7wj

llms.txt。 这是一种写给语言模型的 Markdown 文件，由杰里米·霍华德于 2024 年提出。Ahrefs 发现几乎没有人读它；据 Search Engine Journal 转述，Google 员工约翰·穆勒（John Mueller）把它比作 keywords 元标签，而搜索引擎早已不再考虑这个标签。302831 ¶ cxcdqt2hj

批评

robots.txt 只是请求。 大型运营者承诺遵守它，但这条规则是自愿的。Perplexity 的秘密抓取、维基媒体遇到的“住宅代理”以及 SourceHut 的抱怨都表明，一部分爬虫会绕过它：SourceHut 创始人德鲁·德沃尔特（Drew DeVault）写道，AI 爬虫来自数万个、主要是家庭网络的地址，每个地址只发一次请求。71032 ¶ cg3jrxe4w

只有负担，没有回报。 自 2024 年 1 月起，维基媒体下载多媒体文件的流量增长了 50%，主要来自机器人，而最昂贵的流量中至少 65% 来自机器人，尽管机器人在页面浏览量中只占约 35%。33 ¶ ciz668dck

陷阱。 一个老办法是在 robots.txt 中禁止某个路径，并用隐藏链接指向它：守规矩的机器人不会去那里，违规者就会暴露自己。34一位 SANS 研究人员在 robots.txt 中禁止了常见路径，他得出结论：只用一个蜜罐页面，或许就能抓住相当一部分“坏”机器人的行为。24 ¶ cmj98ebqu

发展

用签名代替名字。 ShapBot 和 Exa 的爬虫按基于 HTTP Message Signatures（RFC 9421）的 Web Bot Auth 方案为请求签名——网站无需地址列表，就能核验请求确实来自机器人自称的那一方。1517 ¶ czz5k6n9g

收费与屏蔽。 Cloudflare 默认让新网站选择屏蔽 AI 爬虫，允许按抓取收费，还能把违规者引入由生成页面构成的迷宫。635 ¶ cpkhegf79

[编辑部结论]

网络把访客分成两类：一类报出身份并遵守规则，另一类躲在别人的名字或浏览器后面。对前者，出现了签名、付费和规则；对后者，剩下的是陷阱、地址核验和屏蔽——还有一场竞赛，爬虫已经开始转向家庭网络地址。 ¶ ch6tc2nsu

参见

死亡互联网理论验证码之死行为生物识别移动目标防御AI 时代的维基百科Markdown

参考资料

  1. 2025 Imperva Bad Bot Report: How AI is Supercharging the Bot Threat — Imperva, 15.04.2025. imperva.com ↩ ↩2

  2. Bad Bot Report 2026: Bots in the Agentic Age — Imperva, 29.04.2026. imperva.com ↩ ↩2 ↩3

  3. Overview of OpenAI Crawlers — OpenAI. developers.openai.com ↩ ↩2 ↩3 ↩4

  4. Does Anthropic crawl data from the web, and how can site owners block the crawler? — Claude Help Center, 07.04.2026. support.claude.com ↩ ↩2 ↩3

  5. The rise of the AI crawler — Vercel, 17.12.2024. vercel.com ↩

  6. Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large — Cloudflare, 01.07.2025. cloudflare.com ↩ ↩2

  7. Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives — Cloudflare, 04.08.2025. blog.cloudflare.com ↩ ↩2

  8. The crawl-to-click gap: Cloudflare data on AI bots, training, and referrals — Cloudflare, 29.08.2025. blog.cloudflare.com ↩ ↩2

  9. The 2025 Cloudflare Radar Year in Review — Cloudflare, 15.12.2025. blog.cloudflare.com ↩ ↩2 ↩3

  10. Quo Vadis, Crawlers? Progress and what’s next on safeguarding our infrastructure — Wikimedia Foundation, 26.03.2026. diff.wikimedia.org ↩ ↩2

  11. Verify Requests from Google Crawlers and Fetchers — Google, 20.03.2026. developers.google.com ↩ ↩2

  12. About Applebot — Apple, 04.09.2026. support.apple.com ↩

  13. Meta-Webcrawler — Meta for Developers. developers.facebook.com ↩

  14. CCBot — Common Crawl. commoncrawl.org ↩ ↩2

  15. Crawler — Parallel Web Systems. docs.parallel.ai ↩ ↩2

  16. Parallel Web Systems hits $2B valuation five months after its last big raise — TechCrunch, 29.04.2026. techcrunch.com ↩

  17. Exa Search Crawler — Exa, 30.07.2026. crawler.exa.ai ↩ ↩2

  18. Accel-backed Keenable is indexing the web for AI agents — TechCrunch, 25.08.2026. techcrunch.com ↩

  19. Perplexity Crawlers — Perplexity. docs.perplexity.ai ↩

  20. Semrush Bot — Semrush. semrush.com ↩

  21. Ahrefs Bots — Ahrefs. ahrefs.com ↩

  22. MJ12Bot — Majestic. mj12bot.com ↩

  23. wlwmanifest_link() — WordPress Developer Resources. developer.wordpress.org ↩

  24. What pages do bad bots look for? — SANS Internet Storm Center, 01.08.2020. isc.sans.edu ↩ ↩2

  25. Increased Number of Configuration File Scans — SANS Internet Storm Center, 03.05.2023. isc.sans.edu ↩

  26. Spike in Git Configuration Crawling Highlights Risk of Codebase Exposure — GreyNoise, 28.04.2025. greynoise.io ↩

  27. New Fastly Threat Research Reveals AI crawlers make up almost 80% of AI bot traffic — Fastly, 19.08.2025. fastly.com ↩

  28. We Analyzed 137K Sites: 97% of llms.txt Files Never Get Read — Ahrefs, 15.06.2026. ahrefs.com ↩ ↩2

  29. AI crawlers need to be more respectful — Read the Docs, 25.07.2024. about.readthedocs.com ↩

  30. The /llms.txt file — Jeremy Howard (llmstxt.org), 03.09.2024. llmstxt.org ↩

  31. Google Says LLMs.Txt Comparable To Keywords Meta Tag — Search Engine Journal, 17.04.2025. searchenginejournal.com ↩

  32. Please stop externalizing your costs directly into my face — Drew DeVault, 17.03.2025. drewdevault.com ↩

  33. How crawlers impact the operations of the Wikimedia projects — Wikimedia Foundation, 01.04.2025. diff.wikimedia.org ↩

  34. Easy PHP Blackhole Trap with WHOIS Lookup for Bad Bots — Perishable Press. perishablepress.com ↩

  35. Trapping misbehaving bots in an AI Labyrinth — Cloudflare, 19.03.2025. blog.cloudflare.com ↩

你的署名

需要记住的是密钥——它就是你的密码。tripcode 由密钥计算得出，显示在你的名字旁：同一个密钥总会得到同一个 tripcode，没有密钥就无法伪造。密钥不会被公开，也不会保存在服务器上。