hechos 619 · señales 37 · artículos 25 · base de datos 3968 KB · bots —guest@ftrlgeres tú~/whoamiEscribes de forma anónima. Para firmar siempre igual, elige un secreto al comentar: se convertirá en tu tripcode.sin registro, nunca

Bots en los sitios web

traducido por IA, revisado por la redacción

redacción de future.log · publicado

Los bots en los sitios web son programas que piden páginas por su cuenta: robots de los buscadores, rastreadores que recopilan datos para la IA, asistentes que abren una página a petición de una persona, servicios de análisis y escáneres de vulnerabilidades. Según la estimación de Imperva, en 2024 el tráfico automatizado superó al humano por primera vez en diez años —el 51% de todo el tráfico web— y en 2025 subió al 53%.12

A los bots que se presentan con honestidad es fácil reconocerlos por su user agent (la cabecera User-Agent) y verificarlos por su dirección. Con los demás es más difícil: los rastreadores se hacen pasar por navegadores, los escáneres buscan contraseñas ajenas y las falsificaciones dicen ser Googlebot. La regla de conducta es la misma para todos —el archivo robots.txt—, pero es una petición, no un candado.34

Historia

  • 17.12.2024Vercel y MERJ informan de que, en un mes, GPTBot hizo 569 millones de solicitudes en su red y ClaudeBot, 370 millones; ninguno de los grandes rastreadores de IA, salvo Googlebot y Applebot, ejecuta JavaScript.5 ¶ cgrvjzz57
  • 15.04.2025Imperva: el tráfico automatizado en 2024 es el 51% de todo el tráfico web; los bots maliciosos, el 37%.1 ¶ cy4y8dfw4
  • 01.07.2025Cloudflare, según dice, la primera empresa de infraestructura en hacerlo, empieza a ofrecer por defecto a los sitios nuevos bloquear los rastreadores de IA, y lanza en beta el pago por rastreo (pay per crawl).6 ¶ crm7a7wpw
  • 04.08.2025Cloudflare acusa a Perplexity de rastreo encubierto: el bot bloqueado seguía entrando haciéndose pasar por un navegador Chrome normal y cambiando de direcciones y de redes, en decenas de miles de dominios y con millones de solicitudes al día.7 ¶ cgggkbbr8
  • 29.08.2025Cloudflare: casi el 80% de la actividad de los bots de IA es recopilación de datos para entrenamiento; en julio, los crawlers de Anthropic descargaban unas 38.000 páginas por cada visitante que enviaban al sitio.8 ¶ czcnfd3sw
  • 15.12.2025Cloudflare, en su balance de 2025: los bots de IA generan de media el 4,2% de las solicitudes HTML, y Googlebot, que recopila datos tanto para la búsqueda como para la IA, el 4,5%; el rastreo a petición de los usuarios se multiplicó por más de 15.9 ¶ ck9ra3ui5
  • 26.03.2026La Fundación Wikimedia informa (con datos precisados en abril) de que bloquea o ralentiza cerca del 30% de las solicitudes automatizadas de rastreadores que no respetan sus normas, y de que estos se han pasado a los «proxies residenciales»: direcciones domésticas y móviles de otras personas.10 ¶ cfjpxjuum
  • 29.04.2026Imperva: los bots generan más del 53% de todo el tráfico web.2 ¶ ci4shwu2u

Tipos de bots

De búsqueda. Googlebot, Applebot y Bingbot construyen el índice para la búsqueda. Su autenticidad se puede verificar: Google aconseja hacer una búsqueda inversa de DNS (reverse DNS lookup) de la dirección, comprobar que el nombre termina en googlebot.com, google.com o googleusercontent.com y confirmar con una búsqueda directa que ese nombre lleva a la misma dirección. El Applebot de Apple sirve a Spotlight, Siri y Safari, pero sus datos también pueden usarse para entrenar los modelos de Apple.1112 ¶ cfadun3eq

Entrenamiento de IA. GPTBot de OpenAI, ClaudeBot de Anthropic, Meta-ExternalAgent de Meta, Amazonbot de Amazon y CCBot de Common Crawl recopilan los textos con los que se entrenan los modelos. Casi no le llevan visitantes al sitio: de ahí la brecha entre páginas descargadas y visitas que mide Cloudflare.3413148 ¶ cc9eyyjum

Búsqueda con IA. OAI-SearchBot, Claude-SearchBot, PerplexityBot y servicios nuevos —ShapBot, de Parallel Web Systems, la empresa del ex director ejecutivo de Twitter Parag Agrawal; el rastreador de Exa, y KeenableBot— construyen los índices con los que responden los asistentes y agentes de IA. Keenable la fundaron Andrey Styskin, antiguo responsable de búsqueda, IA y nube de Yandex, y Matthias Petri; la empresa habla de un índice de más de 100.000 millones de documentos.315161718 ¶ cf2ksku4i

A petición de una persona. ChatGPT-User, Claude-User y Perplexity-User abren una página cuando un usuario pregunta por ella. OpenAI escribe que, como estas acciones las inicia un usuario, «es posible que las reglas de robots.txt no se apliquen»; Perplexity, que este agente «por lo general ignora las reglas de robots.txt»; Anthropic, en cambio, promete que todos sus bots respetan las prohibiciones.3194 ¶ cqb44j4pz

Bots SEO. SemrushBot, AhrefsBot y MJ12bot (Majestic) recopilan los enlaces entre sitios para los servicios de optimización para buscadores. Según Cloudflare, en 2025 los bots SEO generaron más del 13% de las solicitudes de los bots verificados.2021229 ¶ cvj7tbync

Escáneres de vulnerabilidades. Los «visitantes» más frecuentes no buscan textos, sino puntos débiles: archivos .env con contraseñas, la carpeta .git, las páginas de inicio de sesión de WordPress y sus archivos antiguos, como wlwmanifest.xml, que WordPress no incluye desde 2023.23 En el experimento de un investigador de SANS que prohibió en robots.txt rutas populares, la más pedida por los infractores en un año fue /wp-login.php: 1140 veces; en el registro de otro investigador, solo /.env recibió más de 22.000 solicitudes. GreyNoise detectó en abril de 2025 un pico de búsquedas de .git/config: el 20 y el 21 de abril, casi 4800 direcciones al día, muchas más de lo habitual, y el 95% de las direcciones que se dedicaron a esto en 90 días eran maliciosas.242526 ¶ cc88m7vvt

Falsificaciones. Usar un nombre ajeno cuesta una línea: Common Crawl advierte abiertamente: «sabemos que hay rastreadores que se identifican falsamente como CCBot». Por eso el user agent, sin verificar la dirección, no demuestra nada.1411 ¶ c62f53siq

Datos

Cuántos bots hay depende de quién cuente

Quién y cuándoQué se midióQué se encontró
Imperva, 29.04.20262Todo el tráfico web de 2025Los bots, más del 53%. ¶ cf8bgbfxc
Fastly, 19.08.202527Tráfico de bots de IA en la red de Fastly, de abril a julio de 2025Los crawlers (no los agentes que actúan a petición del usuario), casi el 80% del tráfico de bots de IA; a los de Meta les corresponde el 52%; a los de Google, el 23%, y a los de OpenAI, el 20%. ¶ ca6abfug7
Cloudflare, 15.12.20259Cuota de las solicitudes HTML en 2025Los bots de IA, de media el 4,2%; Googlebot, el 4,5%; a 2 de diciembre, las personas generaban el 47% de las solicitudes HTML, y los bots que no son de IA, el 44%. ¶ cehckri7j
Ahrefs, 15.06.202628Registros de servidor de 137.000 sitios, mayo de 2026El 28% de los dominios publica llms.txt, pero el 97% de esos archivos no recibió ni una sola solicitud. ¶ cjvayzsvn
Read the Docs, 25.07.202429Un solo rastreador de IA en mayo de 2024Descargó 73 TB de HTML comprimido, casi 10 TB en un solo día, bajando una y otra vez los mismos archivos. ¶ cvdnx9hpy
[CONCLUSIÓN DE LA REDACCIÓN]

Cuando se mide lo mismo, las cifras coinciden: para Imperva, los bots son más de la mitad de todo el tráfico; para Cloudflare, las personas generaron menos de la mitad de las solicitudes HTML. Las diferencias de varias veces aparecen cuando se compara a todos los bots solo con los bots de IA, o redes distintas. Lo que tienen en común: la proporción de programas crece, y los rastreadores de IA se llevan mucho y le devuelven al sitio pocos visitantes. ¶ cguddn7wj

llms.txt. El archivo en Markdown para modelos de lenguaje lo propuso Jeremy Howard en 2024. Ahrefs descubrió que casi nadie lo lee, y John Mueller, empleado de Google, según lo cuenta Search Engine Journal, lo comparó con la metaetiqueta keywords, que los buscadores dejaron de tener en cuenta hace mucho.302831 ¶ cxcdqt2hj

Crítica

robots.txt es una petición. Los grandes operadores prometen respetarlo, pero la norma es voluntaria. El rastreo encubierto de Perplexity, los «proxies residenciales» de Wikimedia y las quejas de SourceHut muestran que parte de los rastreadores se lo salta: Drew DeVault, fundador de SourceHut, escribió que los crawlers de IA llegan desde decenas de miles de direcciones, en su mayoría domésticas, con una sola solicitud desde cada una.71032 ¶ cg3jrxe4w

Carga sin retorno. En Wikimedia, desde enero de 2024 el tráfico de descarga de archivos multimedia creció un 50%, sobre todo por culpa de los bots, y al menos el 65% del tráfico más costoso lo generan bots, aunque su cuota en las visitas a páginas ronda el 35%.33 ¶ ciz668dck

Trampas. Un truco antiguo: prohibir en robots.txt una ruta a la que lleva un enlace oculto; el bot honesto no entrará y el infractor se delatará.34 El investigador de SANS que prohibió en robots.txt rutas populares concluyó que quizá se pueda atrapar «una parte importante» del comportamiento de los bots «malos» con un honeypot de una sola página (una página trampa).24 ¶ cmj98ebqu

Desarrollo

Firmas en lugar de nombres. ShapBot y el rastreador de Exa firman sus solicitudes con el esquema Web Bot Auth, basado en HTTP Message Signatures (RFC 9421): el sitio puede comprobar que la solicitud viene de quien el bot dice ser, sin listas de direcciones.1517 ¶ czz5k6n9g

Pago y bloqueo. Cloudflare ofrece por defecto a los sitios nuevos bloquear los rastreadores de IA y les permite cobrar por el rastreo y meter a los infractores en un laberinto de páginas generadas.635 ¶ cpkhegf79

[CONCLUSIÓN DE LA REDACCIÓN]

La web divide a sus visitantes en dos clases: los que se presentan y respetan las reglas, y los que se esconden tras un nombre o un navegador ajeno. Para los primeros aparecen firmas, pagos y reglas; para los segundos quedan las trampas, la verificación de la dirección y los bloqueos, y una carrera en la que los rastreadores ya se están pasando a direcciones domésticas. ¶ ch6tc2nsu

Véase también

Teoría del internet muertoLa muerte del CAPTCHABiometría del comportamientoDefensa de objetivo móvilWikipedia después de la IAMarkdown

Referencias

  1. 2025 Imperva Bad Bot Report: How AI is Supercharging the Bot Threat — Imperva, 15.04.2025. imperva.com ↩ ↩2

  2. Bad Bot Report 2026: Bots in the Agentic Age — Imperva, 29.04.2026. imperva.com ↩ ↩2 ↩3

  3. Overview of OpenAI Crawlers — OpenAI. developers.openai.com ↩ ↩2 ↩3 ↩4

  4. Does Anthropic crawl data from the web, and how can site owners block the crawler? — Claude Help Center, 07.04.2026. support.claude.com ↩ ↩2 ↩3

  5. The rise of the AI crawler — Vercel, 17.12.2024. vercel.com ↩

  6. Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large — Cloudflare, 01.07.2025. cloudflare.com ↩ ↩2

  7. Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives — Cloudflare, 04.08.2025. blog.cloudflare.com ↩ ↩2

  8. The crawl-to-click gap: Cloudflare data on AI bots, training, and referrals — Cloudflare, 29.08.2025. blog.cloudflare.com ↩ ↩2

  9. The 2025 Cloudflare Radar Year in Review — Cloudflare, 15.12.2025. blog.cloudflare.com ↩ ↩2 ↩3

  10. Quo Vadis, Crawlers? Progress and what’s next on safeguarding our infrastructure — Wikimedia Foundation, 26.03.2026. diff.wikimedia.org ↩ ↩2

  11. Verify Requests from Google Crawlers and Fetchers — Google, 20.03.2026. developers.google.com ↩ ↩2

  12. About Applebot — Apple, 04.09.2026. support.apple.com ↩

  13. Meta-Webcrawler — Meta for Developers. developers.facebook.com ↩

  14. CCBot — Common Crawl. commoncrawl.org ↩ ↩2

  15. Crawler — Parallel Web Systems. docs.parallel.ai ↩ ↩2

  16. Parallel Web Systems hits $2B valuation five months after its last big raise — TechCrunch, 29.04.2026. techcrunch.com ↩

  17. Exa Search Crawler — Exa, 30.07.2026. crawler.exa.ai ↩ ↩2

  18. Accel-backed Keenable is indexing the web for AI agents — TechCrunch, 25.08.2026. techcrunch.com ↩

  19. Perplexity Crawlers — Perplexity. docs.perplexity.ai ↩

  20. Semrush Bot — Semrush. semrush.com ↩

  21. Ahrefs Bots — Ahrefs. ahrefs.com ↩

  22. MJ12Bot — Majestic. mj12bot.com ↩

  23. wlwmanifest_link() — WordPress Developer Resources. developer.wordpress.org ↩

  24. What pages do bad bots look for? — SANS Internet Storm Center, 01.08.2020. isc.sans.edu ↩ ↩2

  25. Increased Number of Configuration File Scans — SANS Internet Storm Center, 03.05.2023. isc.sans.edu ↩

  26. Spike in Git Configuration Crawling Highlights Risk of Codebase Exposure — GreyNoise, 28.04.2025. greynoise.io ↩

  27. New Fastly Threat Research Reveals AI crawlers make up almost 80% of AI bot traffic — Fastly, 19.08.2025. fastly.com ↩

  28. We Analyzed 137K Sites: 97% of llms.txt Files Never Get Read — Ahrefs, 15.06.2026. ahrefs.com ↩ ↩2

  29. AI crawlers need to be more respectful — Read the Docs, 25.07.2024. about.readthedocs.com ↩

  30. The /llms.txt file — Jeremy Howard (llmstxt.org), 03.09.2024. llmstxt.org ↩

  31. Google Says LLMs.Txt Comparable To Keywords Meta Tag — Search Engine Journal, 17.04.2025. searchenginejournal.com ↩

  32. Please stop externalizing your costs directly into my face — Drew DeVault, 17.03.2025. drewdevault.com ↩

  33. How crawlers impact the operations of the Wikimedia projects — Wikimedia Foundation, 01.04.2025. diff.wikimedia.org ↩

  34. Easy PHP Blackhole Trap with WHOIS Lookup for Bad Bots — Perishable Press. perishablepress.com ↩

  35. Trapping misbehaving bots in an AI Labyrinth — Cloudflare, 19.03.2025. blog.cloudflare.com ↩

Tu firma

Lo que debes recordar es el secreto: es tu contraseña. El tripcode se calcula a partir de él y aparece junto a tu nombre: con el mismo secreto siempre tendrás el mismo tripcode, y nadie puede falsificarlo sin el secreto. El secreto nunca se publica ni se guarda en el servidor.