तथ्य 619 · संकेत 37 · लेख 25 · डेटाबेस 3,968 KB · बॉट —guest@ftrlgयह आप हैं~/whoamiआप गुमनाम लिखते हैं। हर बार एक जैसे हस्ताक्षर के लिए टिप्पणी करते समय गुप्त शब्द चुनें — उससे आपका ट्रिपकोड बनेगा।कोई पंजीकरण नहीं, कभी नहीं

वेबसाइट पर बॉट

AI द्वारा अनुवादित, संपादकों द्वारा जाँचा गया

future.log संपादक-मंडल · प्रकाशित

वेबसाइट पर बॉट — ऐसे प्रोग्राम, जो ख़ुद पेज माँगते हैं: सर्च रोबोट, AI के लिए डेटा जुटाने वाले क्रॉलर, इंसान के कहने पर पेज खोलने वाले सहायक, एनालिटिक्स सेवाएँ और कमज़ोरियों के स्कैनर। Imperva के अनुमान के अनुसार, 2024 में स्वचालित ट्रैफ़िक दस साल में पहली बार इंसानी ट्रैफ़िक से आगे निकल गया — पूरे वेब ट्रैफ़िक का 51%, और 2025 में यह बढ़कर 53% हो गया।12

जो बॉट ईमानदारी से अपना परिचय देते हैं, उन्हें यूज़र एजेंट (User-Agent) से पहचानना और पते से जाँचना आसान है। बाक़ियों के साथ मुश्किल है: क्रॉलर ख़ुद को ब्राउज़र बताते हैं, स्कैनर दूसरों के पासवर्ड ढूँढते हैं, और नक़ली बॉट ख़ुद को Googlebot कहते हैं। सबके लिए व्यवहार का नियम एक है — robots.txt फ़ाइल, लेकिन यह एक अनुरोध है, ताला नहीं।34

इतिहास

  • 17.12.2024Vercel और MERJ बताते हैं कि एक महीने में उनके नेटवर्क पर GPTBot ने 56.9 करोड़ अनुरोध किए, और ClaudeBot ने 37 करोड़; Googlebot और Applebot को छोड़कर कोई भी बड़ा AI क्रॉलर JavaScript नहीं चलाता।5 ¶ cgrvjzz57
  • 15.04.2025Imperva: 2024 में स्वचालित ट्रैफ़िक — पूरे वेब ट्रैफ़िक का 51%, दुर्भावनापूर्ण बॉट — 37%।1 ¶ cy4y8dfw4
  • 01.07.2025Cloudflare, जो अपने शब्दों में ऐसा करने वाली पहली इंफ़्रास्ट्रक्चर कंपनी है, नई साइटों को डिफ़ॉल्ट रूप से AI क्रॉलरों को ब्लॉक करने का विकल्प देना शुरू करती है, और साथ ही क्रॉल के बदले भुगतान (pay per crawl) का बीटा संस्करण शुरू करती है।6 ¶ crm7a7wpw
  • 04.08.2025Cloudflare Perplexity पर छिपकर क्रॉल करने का आरोप लगाती है: ब्लॉक किया गया बॉट पते और नेटवर्क बदलते हुए सामान्य Chrome ब्राउज़र बनकर आता रहा — दसियों हज़ार डोमेन पर, रोज़ लाखों अनुरोध।7 ¶ cgggkbbr8
  • 29.08.2025Cloudflare: AI बॉट की लगभग 80% गतिविधि प्रशिक्षण के लिए डेटा जुटाना है; Anthropic के क्रॉलर जुलाई में साइट पर भेजे गए हर एक आगंतुक के बदले लगभग 38 हज़ार पेज लोड करते थे।8 ¶ czcnfd3sw
  • 15.12.20252025 के नतीजों पर Cloudflare: AI बॉट औसतन 4.2% HTML अनुरोध करते हैं, और Googlebot, जो सर्च और AI दोनों के लिए डेटा जुटाता है, — 4.5%; उपयोगकर्ताओं के कहने पर होने वाली क्रॉलिंग 15 गुना से ज़्यादा बढ़ी।9 ¶ ck9ra3ui5
  • 26.03.2026विकिमीडिया फ़ाउंडेशन बताता है (अप्रैल में स्पष्ट किए गए आँकड़ों के अनुसार) कि वह नियम न मानने वाले क्रॉलरों के लगभग 30% स्वचालित अनुरोधों को ब्लॉक करता है या धीमा कर देता है, और वे “रेज़िडेंशियल प्रॉक्सी” पर चले गए हैं — यानी दूसरों के घरेलू और मोबाइल पतों पर।10 ¶ cfjpxjuum
  • 29.04.2026Imperva: बॉट पूरे वेब ट्रैफ़िक का 53% से ज़्यादा हिस्सा हैं।2 ¶ ci4shwu2u

बॉट के प्रकार

सर्च बॉट। Googlebot, Applebot, Bingbot सर्च के लिए इंडेक्स बनाते हैं। उनकी असलियत जाँची जा सकती है: Google सलाह देती है कि आप पते का रिवर्स DNS लुकअप करें, देखें कि नाम googlebot.com, google.com या googleusercontent.com पर ख़त्म होता है, और फ़ॉरवर्ड DNS लुकअप से पक्का करें कि यह नाम उसी पते पर ले जाता है। Apple का Applebot Spotlight, Siri और Safari के लिए काम करता है, लेकिन उसका डेटा Apple के मॉडलों के प्रशिक्षण में भी जा सकता है।1112 ¶ cfadun3eq

AI प्रशिक्षण। OpenAI का GPTBot, Anthropic का ClaudeBot, Meta का Meta-ExternalAgent, Amazon का Amazonbot, Common Crawl का CCBot वे टेक्स्ट जुटाते हैं, जिन पर मॉडल प्रशिक्षित किए जाते हैं। साइट पर वे लगभग कोई आगंतुक नहीं लाते — इसी से लोड किए गए पेजों और विज़िट के बीच का वह अंतर बनता है, जिसे Cloudflare गिनती है।3413148 ¶ cc9eyyjum

AI सर्च। OAI-SearchBot, Claude-SearchBot, PerplexityBot और नई सेवाएँ — Twitter के पूर्व प्रमुख पराग अग्रवाल की कंपनी Parallel Web Systems का ShapBot, Exa का क्रॉलर और KeenableBot — ऐसे इंडेक्स बनाते हैं, जिनके आधार पर AI असिस्टेंट और एजेंट जवाब देते हैं। Keenable की स्थापना Yandex में सर्च, AI और क्लाउड के पूर्व प्रमुख आंद्रेई स्टिस्किन (Andrey Styskin) और मैथियास पेट्री (Matthias Petri) ने की; कंपनी 100 अरब से ज़्यादा दस्तावेज़ों के इंडेक्स की बात करती है।315161718 ¶ cf2ksku4i

इंसान के कहने पर। ChatGPT-User, Claude-User, Perplexity-User तब पेज खोलते हैं, जब उपयोगकर्ता ने उसके बारे में पूछा हो। OpenAI लिखती है कि चूँकि ऐसी कार्रवाई इंसान शुरू करता है, इसलिए robots.txt के नियम उस पर “लागू नहीं भी हो सकते”, और Perplexity — कि उसका ऐसा फ़ेचर “आम तौर पर robots.txt के नियमों को नज़रअंदाज़ करता है”; इसके उलट, Anthropic वादा करती है कि उसके सभी बॉट रोक का पालन करेंगे।3194 ¶ cqb44j4pz

SEO बॉट। SemrushBot, AhrefsBot, MJ12bot (Majestic) सर्च इंजन ऑप्टिमाइज़ेशन सेवाओं के लिए साइटों के बीच के लिंक जुटाते हैं। Cloudflare के आँकड़ों के अनुसार, 2025 में सत्यापित बॉट के 13% से ज़्यादा अनुरोध SEO बॉट के थे।2021229 ¶ cvj7tbync

कमज़ोरियों के स्कैनर। सबसे आम “मेहमान” टेक्स्ट नहीं, बल्कि कमज़ोर जगहें ढूँढते हैं: पासवर्ड वाली .env फ़ाइलें, .git फ़ोल्डर, WordPress के लॉगिन पेज और उसकी पुरानी फ़ाइलें — जैसे wlwmanifest.xml, जिसे WordPress 2023 से साथ नहीं देता।23 SANS के एक शोधकर्ता ने robots.txt में लोकप्रिय पथों पर रोक लगाई, और उनके प्रयोग में नियम तोड़ने वालों ने साल भर में सबसे ज़्यादा /wp-login.php माँगा — 1140 बार; एक दूसरे शोधकर्ता के लॉग में अकेले /.env के लिए 22 हज़ार से ज़्यादा अनुरोध थे। अप्रैल 2025 में GreyNoise ने .git/config की खोज में उछाल देखा — 20–21 अप्रैल को रोज़ लगभग 4800 पते, जो सामान्य से कहीं ज़्यादा है, और 90 दिनों में ऐसा करने वाले 95% पते दुर्भावनापूर्ण थे।242526 ¶ cc88m7vvt

नक़ली बॉट। किसी और का नाम लेना एक पंक्ति का काम है: Common Crawl साफ़ चेतावनी देता है कि उसे “ऐसे क्रॉलरों की जानकारी है, जो ख़ुद को झूठमूठ CCBot बताते हैं”। इसलिए पते की जाँच के बिना यूज़र एजेंट कुछ साबित नहीं करता।1411 ¶ c62f53siq

डेटा

बॉट कितने हैं — यह इस पर निर्भर है कि गिनता कौन है

कौन और कबक्या गिना गयाक्या मिला
Imperva, 29.04.202622025 का पूरा वेब ट्रैफ़िकबॉट — 53% से ज़्यादा। ¶ cf8bgbfxc
Fastly, 19.08.202527Fastly के नेटवर्क में AI बॉट का ट्रैफ़िक, अप्रैल — जुलाई 2025AI बॉट के ट्रैफ़िक का लगभग 80% — क्रॉलर (उपयोगकर्ता के कहने पर पेज लाने वाले फ़ेचर नहीं); क्रॉलरों में Meta का हिस्सा 52%, Google का 23%, OpenAI का 20%। ¶ ca6abfug7
Cloudflare, 15.12.202592025 में HTML अनुरोधों में हिस्साAI बॉट — औसतन 4.2%, Googlebot — 4.5%; 2 दिसंबर की स्थिति में HTML अनुरोधों में इंसानों का हिस्सा 47% था, AI के बिना बॉट का — 44%। ¶ cehckri7j
Ahrefs, 15.06.2026281.37 लाख साइटों के सर्वर लॉग, मई 202628% डोमेन llms.txt प्रकाशित करते हैं, लेकिन इनमें से 97% फ़ाइलों के लिए एक भी अनुरोध नहीं आया। ¶ cjvayzsvn
Read the Docs, 25.07.202429मई 2024 में एक AI क्रॉलर73 TB ज़िप किया हुआ HTML डाउनलोड किया, एक ही दिन में लगभग 10 TB, एक ही फ़ाइलें बार-बार डाउनलोड करते हुए। ¶ cvdnx9hpy
[संपादकीय निष्कर्ष]

जब एक ही चीज़ गिनी जाती है, तो आँकड़े मिलते हैं: Imperva के अनुसार बॉट पूरे ट्रैफ़िक का आधे से ज़्यादा हिस्सा हैं, Cloudflare के अनुसार HTML अनुरोधों में इंसानों का हिस्सा आधे से कम है। कई गुना का अंतर तब आता है, जब सभी बॉट की तुलना सिर्फ़ AI बॉट से की जाती है, या अलग-अलग नेटवर्क की। एक बात सबमें समान है: प्रोग्रामों का हिस्सा बढ़ रहा है, AI क्रॉलर बहुत कुछ ले जाते हैं, और बदले में साइट पर कम आगंतुक भेजते हैं। ¶ cguddn7wj

llms.txt. भाषा मॉडलों के लिए Markdown में फ़ाइल का प्रस्ताव 2024 में जेरेमी हॉवर्ड ने रखा था। Ahrefs ने पाया कि इसे लगभग कोई नहीं पढ़ता, और Google के कर्मचारी जॉन मुलर (John Mueller) ने, Search Engine Journal के अनुसार, इसकी तुलना keywords मेटा टैग से की, जिसे सर्च इंजन बहुत पहले से ध्यान में नहीं रखते।302831 ¶ cxcdqt2hj

आलोचना

robots.txt — बस एक अनुरोध। बड़े ऑपरेटर इसका पालन करने का वादा करते हैं, लेकिन नियम स्वैच्छिक है। Perplexity की छिपी क्रॉलिंग, विकिमीडिया के यहाँ “रेज़िडेंशियल प्रॉक्सी” और SourceHut की शिकायतें दिखाती हैं कि कुछ क्रॉलर इसे दरकिनार करते हैं: SourceHut के संस्थापक ड्रू डेवॉल्ट (Drew DeVault) ने लिखा कि AI क्रॉलर दसियों हज़ार, ज़्यादातर घरेलू, पतों से आते हैं — हर पते से एक-एक अनुरोध।71032 ¶ cg3jrxe4w

बोझ, बदले में कुछ नहीं। विकिमीडिया में जनवरी 2024 से मीडिया फ़ाइलें डाउनलोड करने का ट्रैफ़िक 50% बढ़ा, मुख्य रूप से बॉट की वजह से, और सबसे महँगे ट्रैफ़िक का कम से कम 65% बॉट से आता है, जबकि पेज व्यू में उनका हिस्सा लगभग 35% है।33 ¶ ciz668dck

जाल। पुराना तरीक़ा — robots.txt में उस पथ पर रोक लगाना, जिस पर एक छिपा लिंक ले जाता है: ईमानदार बॉट वहाँ नहीं जाएगा, नियम तोड़ने वाला ख़ुद को उजागर कर देगा।34 SANS के शोधकर्ता ने, जिन्होंने robots.txt में लोकप्रिय पथों पर रोक लगाई थी, निष्कर्ष निकाला कि शायद “सिर्फ़ एक पेज वाले … हनीपॉट से ‘ख़राब’ बॉट के दिलचस्प व्यवहार का बड़ा हिस्सा पकड़ा जा सकता है”।24 ¶ cmj98ebqu

आगे का विकास

नाम की जगह हस्ताक्षर। ShapBot और Exa का क्रॉलर अपने अनुरोधों पर HTTP Message Signatures (RFC 9421) पर आधारित Web Bot Auth योजना के अनुसार हस्ताक्षर करते हैं — साइट पतों की सूचियों के बिना जाँच सकती है कि अनुरोध सचमुच उसी से आया है, जिसका नाम बॉट ने बताया।1517 ¶ czz5k6n9g

भुगतान और ब्लॉकिंग। Cloudflare नई साइटों को डिफ़ॉल्ट रूप से AI क्रॉलरों को ब्लॉक करने का विकल्प देती है, और क्रॉल के बदले शुल्क लेने और नियम तोड़ने वालों को जनरेट किए गए पेजों की भूलभुलैया में भेजने की सुविधा भी।635 ¶ cpkhegf79

[संपादकीय निष्कर्ष]

वेब के मेहमान दो वर्गों में बँट रहे हैं: वे, जो अपना परिचय देते हैं और नियम मानते हैं, और वे, जो किसी और के नाम या ब्राउज़र के पीछे छिपते हैं। पहलों के लिए हस्ताक्षर, भुगतान और नियम आ रहे हैं; दूसरों के लिए बचते हैं जाल, पते की जाँच और ब्लॉकिंग — और एक होड़, जिसमें क्रॉलर अब घरेलू पतों पर जा रहे हैं। ¶ ch6tc2nsu

यह भी देखें

मृत इंटरनेट सिद्धांतकैप्चा का अंतव्यवहार आधारित बायोमेट्रिक्सतरल कोडAI के बाद विकिपीडियाMarkdown

संदर्भ

  1. 2025 Imperva Bad Bot Report: How AI is Supercharging the Bot Threat — Imperva, 15.04.2025. imperva.com ↩ ↩2

  2. Bad Bot Report 2026: Bots in the Agentic Age — Imperva, 29.04.2026. imperva.com ↩ ↩2 ↩3

  3. Overview of OpenAI Crawlers — OpenAI. developers.openai.com ↩ ↩2 ↩3 ↩4

  4. Does Anthropic crawl data from the web, and how can site owners block the crawler? — Claude Help Center, 07.04.2026. support.claude.com ↩ ↩2 ↩3

  5. The rise of the AI crawler — Vercel, 17.12.2024. vercel.com ↩

  6. Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large — Cloudflare, 01.07.2025. cloudflare.com ↩ ↩2

  7. Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives — Cloudflare, 04.08.2025. blog.cloudflare.com ↩ ↩2

  8. The crawl-to-click gap: Cloudflare data on AI bots, training, and referrals — Cloudflare, 29.08.2025. blog.cloudflare.com ↩ ↩2

  9. The 2025 Cloudflare Radar Year in Review — Cloudflare, 15.12.2025. blog.cloudflare.com ↩ ↩2 ↩3

  10. Quo Vadis, Crawlers? Progress and what’s next on safeguarding our infrastructure — Wikimedia Foundation, 26.03.2026. diff.wikimedia.org ↩ ↩2

  11. Verify Requests from Google Crawlers and Fetchers — Google, 20.03.2026. developers.google.com ↩ ↩2

  12. About Applebot — Apple, 04.09.2026. support.apple.com ↩

  13. Meta-Webcrawler — Meta for Developers. developers.facebook.com ↩

  14. CCBot — Common Crawl. commoncrawl.org ↩ ↩2

  15. Crawler — Parallel Web Systems. docs.parallel.ai ↩ ↩2

  16. Parallel Web Systems hits $2B valuation five months after its last big raise — TechCrunch, 29.04.2026. techcrunch.com ↩

  17. Exa Search Crawler — Exa, 30.07.2026. crawler.exa.ai ↩ ↩2

  18. Accel-backed Keenable is indexing the web for AI agents — TechCrunch, 25.08.2026. techcrunch.com ↩

  19. Perplexity Crawlers — Perplexity. docs.perplexity.ai ↩

  20. Semrush Bot — Semrush. semrush.com ↩

  21. Ahrefs Bots — Ahrefs. ahrefs.com ↩

  22. MJ12Bot — Majestic. mj12bot.com ↩

  23. wlwmanifest_link() — WordPress Developer Resources. developer.wordpress.org ↩

  24. What pages do bad bots look for? — SANS Internet Storm Center, 01.08.2020. isc.sans.edu ↩ ↩2

  25. Increased Number of Configuration File Scans — SANS Internet Storm Center, 03.05.2023. isc.sans.edu ↩

  26. Spike in Git Configuration Crawling Highlights Risk of Codebase Exposure — GreyNoise, 28.04.2025. greynoise.io ↩

  27. New Fastly Threat Research Reveals AI crawlers make up almost 80% of AI bot traffic — Fastly, 19.08.2025. fastly.com ↩

  28. We Analyzed 137K Sites: 97% of llms.txt Files Never Get Read — Ahrefs, 15.06.2026. ahrefs.com ↩ ↩2

  29. AI crawlers need to be more respectful — Read the Docs, 25.07.2024. about.readthedocs.com ↩

  30. The /llms.txt file — Jeremy Howard (llmstxt.org), 03.09.2024. llmstxt.org ↩

  31. Google Says LLMs.Txt Comparable To Keywords Meta Tag — Search Engine Journal, 17.04.2025. searchenginejournal.com ↩

  32. Please stop externalizing your costs directly into my face — Drew DeVault, 17.03.2025. drewdevault.com ↩

  33. How crawlers impact the operations of the Wikimedia projects — Wikimedia Foundation, 01.04.2025. diff.wikimedia.org ↩

  34. Easy PHP Blackhole Trap with WHOIS Lookup for Bad Bots — Perishable Press. perishablepress.com ↩

  35. Trapping misbehaving bots in an AI Labyrinth — Cloudflare, 19.03.2025. blog.cloudflare.com ↩

आपका हस्ताक्षर

याद रखना है गुप्त शब्द — यही आपका पासवर्ड है। ट्रिपकोड उसी से बनता है और आपके नाम के पास सबको दिखता है: एक ही गुप्त शब्द से हमेशा एक ही ट्रिपकोड मिलता है, और उसके बिना कोई इसकी नकल नहीं कर सकता। गुप्त शब्द कहीं प्रकाशित नहीं होता और सर्वर पर संग्रहीत नहीं होता।