【bot雑談】はたらくbot（「はたらくくるま」のノリで）

8月初旬（2026/8/9）よりバカ毛のクロールログを取得できるようにしたのですが、思った以上にいろんなbotのログが集まったのでログを分類してまとめてみました。

記事タイトルに『「はたらくくるま」のノリで』って書いてるんだけど、これ通じる人いるのかな？

調査概要

調査の方法について。

調査データ

計測期間
2026-08-09 15:06 JST – 2026-09-12 07:36 JST（約34日）

総クロール数
130,293

bot種類
189

UAバリエーション
499

今回分類したデータ

データの分類についてはあまりにも数が多いのでClaudeに分類してもらいました。

分類しているのは以下。

  • bot種類
  • クロール数
  • 運営組織
  • 参照URL
  • UA例

今回はbotのUAから純粋に取得しています。IP検証はなし。
※IP検証した時の偽botの話：AI Botなりすましの偽botはどこを辿っていたのか？

目的別はたらくbot一覧

目的別に分類しています。

「運営組織」についてはClaudeにまとめさせたのでざっくりとしたものと思って見てください。
正確に把握するには参照URLを見に行くのが良さそう。

見出しの読み方は「目的（種類数 / クロール数）」です。

AI学習データ（22種 / 38,333）

bot 運営組織 クロール数 参照URL UA例
TikTokSpider ByteDance（TikTok） 21,736 — Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; TikTokSpider; ttspider-feedback@tiktok.com)
Amazonbot Amazon 10,240 https://developer.amazon.com/support/amazonbot Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) Chrome/119.0.6045.214 Safari/537.36
CCBot Common Crawl Foundation 1,429 https://commoncrawl.org/faq/ CCBot/2.0 (https://commoncrawl.org/faq/)
Cotoyogi 情報・システム研究機構（ROIS-DS） 1,361 https://ds.rois.ac.jp/center8/crawler/ Mozilla/5.0 (compatible; Cotoyogi/4.0; +https://ds.rois.ac.jp/center8/crawler/)
GPTBot OpenAI 1,187 https://openai.com/gptbot Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.3; +https://openai.com/gptbot)
ICC-Crawler 情報通信研究機構（NICT） 1,134 https://ucri.nict.go.jp/en/icccrawler.html ICC-Crawler/3.0 (Mozilla-compatible; ; https://ucri.nict.go.jp/en/icccrawler.html)
ImageBot 不明（img2dataset利用） 491 https://github.com/rom1504/img2dataset ImageBot/1.0 (compatible; research crawler; +https://github.com/rom1504/img2dataset; opt-out: abuse.notification.dcomp12b@gmail.com;
GoogleOther Google 430 — Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/151.0.7922.173 Mobile Safari/537.36 (compatible; GoogleOther)
Google-Extended （UAでは本来取得できないので偽物。IPも違ってた。） 76 — Mozilla/5.0 (compatible; Google-Extended; +http://www.google.com/bot.html)
ClaudeBot Anthropic 71 — Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
meta-externalagent Meta 44 https://developers.facebook.com/docs/sharing/webmasters/crawler Mozilla/5.0 (compatible; Meta-ExternalAgent/1.0; +https://developers.facebook.com/docs/sharing/webmasters/crawler)
DeepSeekBot DeepSeek 23 https://www.deepseek.com/ Mozilla/5.0 (compatible; DeepSeekBot/1.0; +https://www.deepseek.com/)
ChatGLM-Spider 智譜AI（Zhipu AI） 22 https://zhipuai.cn/ Mozilla/5.0 (compatible; ChatGLM-Spider/1.0; +https://zhipuai.cn/)
PanguBot Huawei 17 https://www.huaweicloud.com/ Mozilla/5.0 (compatible; PanguBot/1.0; +https://www.huaweicloud.com/)
MoonshotBot Moonshot AI 15 https://kimi.ai/ Mozilla/5.0 (compatible; MoonshotBot/1.0; +https://kimi.ai/)
cohere-ai Cohere 13 https://cohere.com/crawler Mozilla/5.0 (compatible; cohere-ai; +https://cohere.com/crawler)
meta-webindexer Meta 10 https://developers.facebook.com/docs/sharing/webmasters/crawler Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/145.0.0.0 Safari/537.36 (compatible; meta-webindexer/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler))
YiBot 零一万物（01.AI） 10 https://01.ai/ Mozilla/5.0 (compatible; YiBot/1.0; +https://01.ai/)
KimiBot Moonshot AI 8 https://kimi.ai/ Mozilla/5.0 (compatible; KimiBot/1.0; +https://kimi.ai/)
SBIntuitionsBot SB Intuitions 8 https://www.sbintuitions.co.jp/bot/ Mozilla/5.0 (compatible; SBIntuitionsBot/0.1; +https://www.sbintuitions.co.jp/bot/)
Qwenbot Alibaba 6 https://qwen.alibaba.com/ Mozilla/5.0 (compatible; Qwenbot/1.0; +https://qwen.alibaba.com/)
Cabocia crawler Cabocia 2 https://cabocia.jp Cabocia crawler (c1a-corpus-reverse; +https://cabocia.jp; contact: admin@cabocia.jp)

SEO・被リンク調査（23種 / 28,078）

bot 運営組織 クロール数 参照URL UA例
DataForSeoBot DataForSEO 12,449 https://dataforseo.com/dataforseo-bot Mozilla/5.0 (compatible; DataForSeoBot/1.0; +https://dataforseo.com/dataforseo-bot)
SERankingBacklinksBot SE Ranking 7,925 https://seranking.com/backlinks-crawler Mozilla/5.0 (compatible; SERankingBacklinksBot/1.0; +https://seranking.com/backlinks-crawler)
AhrefsBot Ahrefs 4,975 http://ahrefs.com/robot/ Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)
BacklinksExtendedBot 不明 1,827 — Mozilla/5.0 (compatible; BacklinksExtendedBot)
AffsignalCrawler Affsignal 309 https://affsignal.com/bot Mozilla/5.0 (compatible; AffsignalCrawler/1.0; +https://affsignal.com/bot)
MoatLandooBot 不明 231 https://moatlandoo.example/bot MoatLandooBot/1.0 (+https://moatlandoo.example/bot)
LighthouseBot Lighthouse Data 107 https://lighthousedata.io/bot Mozilla/5.0 (compatible; LighthouseBot/1.0; +https://lighthousedata.io/bot)
QlyzeBot Qlyze 66 https://app.qlyze.io/bot Mozilla/5.0 (compatible; QlyzeBot/1.0; +https://app.qlyze.io/bot)
Polon 不明 43 — Polon/1.0 (PageRank crawler)
SEOJuice-SearchBot SEOJuice 32 https://seojuice.io/bot Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; SEOJuice-SearchBot/1.0; +https://seojuice.io/bot
LyonlBot Lyonl 24 https://lyonl.com/bot.html Mozilla/5.0 (compatible; LyonlBot/1.0; +https://lyonl.com/bot.html)
SiteAuditBot Semrush 22 http://www.semrush.com/bot.html Mozilla/5.0 (compatible; SiteAuditBot/0.97; +http://www.semrush.com/bot.html)
Screaming Frog SEO Spider Screaming Frog（実行者は不明） 12 — Screaming Frog SEO Spider/24.3
SurdotlyBot Sur.ly 11 http://sur.ly/bot.html Mozilla/5.0 (compatible; SurdotlyBot/1.0; +http://sur.ly/bot.html)
webtru_crawler 不明 8 — Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36 webtru_crawler
wpbot 不明 7 https://forms.gle/ajBaxygz9jSR8p8G9 Mozilla/5.0 (compatible; wpbot/1.4; +https://forms.gle/ajBaxygz9jSR8p8G9)
SectorBot 個人（serdartorun.dev） 7 https://serdartorun.dev/bot Mozilla/5.0 (compatible; SectorBot/1.0; +https://serdartorun.dev/bot) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124 Safari/537.36
SEMrushBot Semrush 6 — SEMrushBot
PublicWWWBot PublicWWW 4 https://publicwww.com/bot.html Mozilla/5.0 (compatible; PublicWWWBot/1.0; +https://publicwww.com/bot.html)
FrogleBot Frogle 4 https://frogle.pl/bot Mozilla/5.0 (compatible; FrogleBot/1.0; +https://frogle.pl/bot)
PoweredByBot Keywords Everywhere 4 https://poweredby.keywordseverywhere.com/bot PoweredByBot/1.0 (+https://poweredby.keywordseverywhere.com/bot)
Leikibot Leiki 3 http://www.leiki.com Mozilla/5.0 (Windows NT 6.3;compatible; Leikibot/1.0; +http://www.leiki.com)
opr-crawler Simba Systems 2 — Mozilla/5.0 (compatible; opr-crawler/0.1.0; +mailto:alykhan@simbasystems.com)

検索エンジン（17種 / 14,728）

bot 運営組織 クロール数 参照URL UA例
Googlebot Google 9,806 http://www.google.com/bot.html Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/151.0.7922.173 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Bingbot Microsoft 4,405 http://www.bing.com/bingbot.htm Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36
Applebot Apple 315 http://www.apple.com/go/applebot Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Yahoo! JAPAN (Y!J-ASR) LINEヤフー 73 https://support.yahoo-net.jp/PccSearch/s/article/H000007955 Y!J-ASR/1.0 crawler (https://support.yahoo-net.jp/PccSearch/s/article/H000007955)
DuckDuckBot DuckDuckGo 35 http://duckduckgo.com/duckduckbot.html DuckDuckBot/1.1; (+http://duckduckgo.com/duckduckbot.html)
coccocbot-web Cốc Cốc 32 http://help.coccoc.com/searchengine Mozilla/5.0 (compatible; coccocbot-web/1.0; +http://help.coccoc.com/searchengine)
Bravebot Brave 24 https://brave.com/search/ Mozilla/5.0 (compatible; Bravebot/1.0; +https://brave.com/search/)
SeznamBot Seznam 10 https://o-seznam.cz/napoveda/vyhledavani/en/seznambot-crawler/ Mozilla/5.0 (compatible; SeznamBot/4.0; +https://o-seznam.cz/napoveda/vyhledavani/en/seznambot-crawler/)
Google-InspectionTool Google 9 — Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.6099.224 Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0)
Google-AMPHTML Google 7 — Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/152.0.7977.82 Mobile Safari/537.36 (compatible; Google-AMPHTML)
Google-Site-Verification Google 3 — Mozilla/5.0 (compatible; Google-Site-Verification/1.0)
Google-Read-Aloud Google 2 https://support.google.com/webmasters/answer/1061943 Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/138.0.0.0 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)
Google-Safety Google 2 http://www.google.com/bot.html Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Google-Safety; +http://www.google.com/bot.html)
360Spider 奇虎360 2 — User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/140.0.0.0 Safari/537.36 Edg/140.0.0.0; 360Spider
coccocbot-image Cốc Cốc 1 http://help.coccoc.com/searchengine Mozilla/5.0 (compatible; coccocbot-image/1.0; +http://help.coccoc.com/searchengine)
HuaweiCrawler Huawei 1 — Mozilla/5.0 (Windows NT 10.0; WOW64; iPhone) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.5090.87 Safari/537.36 HuaweiCrawler
Slurp Yahoo!（米） 1 http://help.yahoo.com/help/us/ysearch/slurp?? Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp??)

AI検索・エージェント（20種 / 13,097）

bot 運営組織 クロール数 参照URL UA例
AIWebIndex lyrenth.com 3,822 https://lyrenth.com/bot AIWebIndex/2.0 (+https://lyrenth.com/bot; AI-readable web index)
PerplexityBot Perplexity 2,825 https://perplexity.ai/perplexitybot Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
LinkupBot Linkup 2,131 https://linkup.so/bot LinkupBot/1.0 (LinkupBot for web indexing; https://linkup.so/bot; bot@linkup.so)
ChatGPT-User OpenAI 2,003 https://openai.com/bot Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
SofyaBot Sofya 986 https://sofya.co/bot SofyaBot/1.0 (+https://sofya.co/bot)
ExaSearchBot Exa 305 https://crawler.exa.ai/ Mozilla/5.0 (compatible; ExaSearchBot/1.0; +https://crawler.exa.ai/)
IbouBot Ibou 301 https://ibou.io/iboubot.html Mozilla/5.0 (compatible; IbouBot/1.0; +bot@ibou.io; +https://ibou.io/iboubot.html)
Reflectionbot Reflection AI 244 https://reflection.ai/bot Mozilla/5.0 (compatible; Reflectionbot/1.0; +https://reflection.ai/bot)
Claude-User Anthropic 123 https://support.anthropic.com/ Claude-User (claude-code/2.1.263; +https://support.anthropic.com/)
OAI-SearchBot OpenAI 88 https://openai.com/searchbot Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)
YouBot You.com 74 https://docs.you.com/youbot Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; YouBot/1.0; +https://docs.you.com/youbot; env:prod) Chrome/142.0.0.0 Safari/537.36
Perplexity-User Perplexity 53 https://perplexity.ai/perplexitybot Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexitybot)
GrokBot xAI 44 https://x.ai/ Mozilla/5.0 (compatible; GrokBot/1.0; +https://x.ai/)
Claude-SearchBot Anthropic 27 https://www.anthropic.com/claude-searchbot Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-SearchBot/1.0; +claudebot@anthropic.com)
DuckAssistBot DuckDuckGo 23 http://duckduckgo.com/duckassistbot.html DuckAssistBot/1.2; (+http://duckduckgo.com/duckassistbot.html)
KeenableBot Keenable 20 https://keenable.ai/ Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; KeenableBot/1.0; +https://keenable.ai/)
Kimi-SearchBot Moonshot AI 13 https://kimi.ai/ Mozilla/5.0 (compatible; Kimi-SearchBot/1.0; +https://kimi.ai/)
DesearchBot Desearch 11 https://www.desearch.ai/crawler Mozilla/5.0 (compatible; DesearchBot/1.0; +https://www.desearch.ai/crawler)
Aranet-SearchBot Aranet 2 https://aranet.ai/bot Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Aranet-SearchBot/1.0; +https://aranet.ai/bot) Chrome/131.0.0.0 Safari/537.36
AzureAI-SearchBot 不明（Microsoftを自称） 2 — Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; AzureAI-SearchBot/1.0;

メディア監視・調査（14種 / 11,345）

bot 運営組織 クロール数 参照URL UA例
Mediatoolkitbot Mediatoolkit（Determ） 7,304 — Mediatoolkitbot (complaints@mediatoolkit.com)
trendictionbot Trendiction（Talkwalker） 2,637 http://www.trendiction.de/bot Mozilla/5.0 (Windows NT 10.0; Win64; x64; trendictionbot0.5.0; trendiction search; http://www.trendiction.de/bot; please let us know of any problems; web at trendiction.com) Gecko/20100101 Firefox/125.0
YaK (Linkfluence) Linkfluence（Meltwater） 600 http://linkfluence.com/ Mozilla/5.0 (compatible; YaK/1.0; http://linkfluence.com/; bot@linkfluence.com)
AteveSearchSourceUrlDiscovery 不明 306 — AteveSearchSourceUrlDiscovery/0.1 (+mailto:crawler@example.com)
SemanticVisionsBot Semantic Visions 162 http://semantic-visions.com Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 (Compatible; SemanticVisionsBot/1.0; +http://semantic-visions.com)
WellKnownBot well-known.dev 132 https://well-known.dev/about/#bot Mozilla/5.0 (compatible; WellKnownBot/0.1; +https://well-known.dev/about/#bot)
AwarioBot Awario 109 https://awario.com/bots.html Mozilla/5.0 (compatible; AwarioBot/1.0; +https://awario.com/bots.html)
VelenPublicWebCrawler Velen 42 https://velen.io Mozilla/5.0 (compatible; VelenPublicWebCrawler/1.0; +https://velen.io)
Twingly Recon Twingly 40 https://app.twingly.com/public-docs/crawler Twingly Recon-Sjostrom/1.0 (+https://app.twingly.com/public-docs/crawler)
ABEvalBot 不明 4 — Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ABEvalBot/0.1) Version/11.1.2 Safari/605.1.15
EMAIL-EU-Academic-Crawler 不明 4 — EMAIL-EU-Academic-Crawler/4.1
MaisonKV-research 不明 2 — Mozilla/5.0 (compatible; MaisonKV-research/1.0; perfume market research; respects robots.txt)
ev-crawler Headline 2 https://headline.com/legal/crawler Mozilla/5.0 (compatible; ev-crawler/1.0; +https://headline.com/legal/crawler)
NewsCrawler (Polon) 不明 1 — Polon/1.0 NewsCrawler

正体不明（25種 / 9,721）

UAにhttps://example.com/botと入っているのがあってちょっと腹が立つｗ

bot 運営組織 クロール数 参照URL UA例
GeneralCrawlBot 不明 7,847 — GeneralCrawlBot/0.1
FindFiles.net FindFiles.net 426 https://findfiles.net/bot FindFiles.net/1.0 (compatible; +https://findfiles.net/bot)
ShapBot 不明 413 — Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ShapBot/0.1.0
ReadBot 不明 371 — Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ReadBot/0.1) Chrome/119.0.6045.214 Safari/537.36
SleepBot sleepbot.com 357 http://sleepbot.com/ Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; SleepBot/1.0; +http://sleepbot.com/) Chrome/131.0.0.0 Safari/537.36
NavCrawl 不明 109 https://example.com/bot NavCrawl/0.4 (+https://example.com/bot)
SearchEngineBot 不明 63 https://example.com/bot SearchEngineBot/0.1 (+https://example.com/bot)
Mozilla/5.0 (compatible; bot) 不明 39 — Mozilla/5.0 (compatible; bot)
LohiSoftBot 不明 28 — LohiSoftBot/1.0 (+message@lohisoft.com)
Orbbot 不明 21 — Mozilla/5.0 (compatible; Orbbot/1.1;)
IndusFirehose 不明 9 https://indus.local/bot IndusFirehose/1.0 (+https://indus.local/bot)
SkynetBot 不明 8 — Mozilla/5.0 (compatible; SkynetBot/1.0)
PisarBot 不明 6 — Mozilla/5.0 (compatible; PisarBot/1.0)
AionBot 不明 4 — Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 (compatible; AionBot/1.0)
Tiny-Crawler-101 不明 4 — Tiny-Crawler-101/0.0.1
HanaleiBot 不明 2 — HanaleiBot runid=beta-stage-integration-test
UnderworldCrawler 不明 2 — UnderworldCrawler/0.0.8
webatlabot Webatla 2 https://webatla.com/bot Mozilla/5.0 (compatible; webatlabot/1.0; +https://webatla.com/bot; abuse@webatla.com)
AtlasBot Harmonia Mix 2 https://atlas.harmoniamix.com/bot AtlasBot/1.0 (+https://atlas.harmoniamix.com/bot)
SEBot-WA 不明 2 — SEBot-WA
CCrawl 個人（tamnd.com） 2 https://ccrawl.tamnd.com/bot CCrawl/2.0 (+https://ccrawl.tamnd.com/bot)
JSIndexBot 不明 1 https://example.com/bot Mozilla/5.0 (compatible; JSIndexBot/1.0; +https://example.com/bot)
aragna.net_bot 不明 1 — aragna.net_bot
NVBot 不明 1 — NVBot
Google 不明 1 — Google

SNS・リンクプレビュー（14種 / 8,501）

bot 運営組織 クロール数 参照URL UA例
Slackbot Slack（Salesforce） 5,666 https://api.slack.com/robots Slackbot 1.0 (+https://api.slack.com/robots)
Twitterbot X 2,503 — Twitterbot/1.0
Facebot Meta 181 — Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_1) AppleWebKit/601.2.4 (KHTML, like Gecko) Version/9.0.1 Safari/601.2.4 facebookexternalhit/1.1 Facebot Twitterbot/1.0
Slackbot-LinkExpanding Slack（Salesforce） 46 https://api.slack.com/robots Slackbot-LinkExpanding 1.0 (+https://api.slack.com/robots)
TelegramBot Telegram 41 — Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; TelegramBot/1.0)
X (Twitter) アプリ内ブラウザ X（アプリ内ブラウザ） 18 — Mozilla/5.0 (Linux; Android 17; Pixel 8a Build/CP2A.260805.005; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/151.0.7922.199 Mobile Safari/537.36 TwitterAndroid/12.24.0-prod.02 (312240002-r-02) Pixel+8a/17 (Google;Pixel+8a;google;akita;0;;1;2015)
LinkedInBot LinkedIn（Microsoft） 15 http://www.linkedin.com Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; LinkedInBot/1.0; +http://www.linkedin.com)
Discordbot Discord 10 https://discordapp.com Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Discordbot/2.0; +https://discordapp.com)
Pinterestbot Pinterest 7 http://www.pinterest.com/bot.html Mozilla/5.0 (compatible; Pinterestbot/1.0; +http://www.pinterest.com/bot.html)
Slack-ImgProxy Slack（Salesforce） 6 https://api.slack.com/robots Slack-ImgProxy (+https://api.slack.com/robots)
bitlybot Bitly 2 http://bit.ly/ bitlybot/3.0 (+http://bit.ly/)
TikTok アプリ内ブラウザ ByteDance（アプリ内ブラウザ） 2 — Mozilla/5.0 (Linux, Android 15, SM-S911U Build/AP3A.240905.015.A2, ) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/139.0.7258.158 Mobile Safari/537.36 musical_ly_2024105040 JsSdk/1.0 NetType/MOBILE Channel/googleplay AppName/musical_ly app_ver
Mattermost-Bot Mattermost 2 — Mattermost-Bot/1.1
notestock notestock 2 https://notestock.osa-p.net/ notestock/1.0 ( https://notestock.osa-p.net/ https://mstdn.nere9.help/@osapon ) bot

フィード・購読（10種 / 6,032）

bot 運営組織 クロール数 参照URL UA例
Hatena::Russia::Crawler はてな 4,847 — Hatena::Russia::Crawler/0.01
Blogtrottr Blogtrottr 808 https://blogtrottr.com/robot Blogtrottr/2.1 (+https://blogtrottr.com/robot)
wp.com feedbot Automattic（WordPress.com） 142 https://wp.com wp.com feedbot/1.0 (+https://wp.com)
RSSingBot RSSing 84 http://www.rssing.com RSSingBot (http://www.rssing.com)
Feedspot Feedspot 69 https://www.feedspot.com/fs/fetcher Feedspot/1.0 (+https://www.feedspot.com/fs/fetcher; like FeedFetcher-Google)
blogmuraBot にほんブログ村 44 https://blogmura.com blogmuraBot/2.0 (+https://blogmura.com)
HatenaBlog-bot はてな 22 https://help.hatenablog.com/entry/about-hatenablogbot HatenaBlog-bot/0.02 (+https://help.hatenablog.com/entry/about-hatenablogbot)
LivelapBot Livelap 9 http://site.livelap.com/crawler LivelapBot/0.2 (http://site.livelap.com/crawler)
FeedBot 不明 4 — FeedBot/1.0
Xbot 不明 3 — Xbot/1.0

広告・アドテク（7種 / 295）

bot 運営組織 クロール数 参照URL UA例
Mediapartners-Google Google（AdSense） 222 — Mozilla/5.0 (Linux; Android 4.0.4; Galaxy Nexus Build/IMM76B) AppleWebKit/537.36 (KHTML, like Gecko; Mediapartners-Google) Chrome/152.0.7977.64 Mobile Safari/537.36
CriteoBot Criteo 23 https://www.criteo.com/criteo-crawler/ CriteoBot/0.1 (+https://www.criteo.com/criteo-crawler/)
AdsBot-Google-Mobile Google 22 http://www.google.com/mobile/adsbot.html Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/151.0.7922.173 Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
Google-Display-Ads-Bot Google 18 — Google-Display-Ads-Bot
IAS Crawler Integral Ad Science 5 http://integralads.com/site-indexing-policy/ IAS Crawler (ias_crawler; http://integralads.com/site-indexing-policy/)
comscore proximic Comscore（Proximic） 3 https://www.comscore.com/Web-Crawler Mozilla/5.0 (compatible; proximic; +https://www.comscore.com/Web-Crawler)
MicroAdBot マイクロアド 2 https://www.microad.co.jp/contact/ Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/152.0.0.0 Mobile Safari/537.36 MicroAdBot/1.1 (https://www.microad.co.jp/contact/)

営業リスト・フォーム収集（22種 / 82）

bot 運営組織 クロール数 参照URL UA例
ZoominfoBot ZoomInfo 8 — ZoominfoBot (zoominfobot at zoominfo dot com)
HubSpot Crawler HubSpot 6 https://www.hubspot.com Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; HubSpot Crawler; +https://www.hubspot.com) Chrome/131.0.0.0 Safari/537.36
bizdb-crawl 不明 6 — bizdb-crawl/0.1.0
NewsletterFormResearchBot 不明 5 — NewsletterFormResearchBot/1.3.1 (+read-only public-web research; no form submissions)
PostGooBot Postgoo 5 https://www.postgoo.com Mozilla/5.0 (compatible; PostGooBot/1.0; +https://www.postgoo.com)
FormCollectorBot 不明（boot-up.jp） 5 — FormCollectorBot/0.0.1 (+contact: crawler@bot.boot-up.jp)
LovedByAI-AgencyScan LovedBy.ai 4 https://www.lovedby.ai/bot Mozilla/5.0 (compatible; LovedByAI-AgencyScan/1.0; +https://www.lovedby.ai/bot)
WarmerlyBot Warmerly 4 https://warmerly.com/bot WarmerlyBot/1.0 (+https://warmerly.com/bot)
eManagerBot 不明 4 — Mozilla/5.0 (compatible; eManagerBot/1.0)
CorporateDirectoryBot 不明（GitHub: FallseF/form-outreach） 4 https://github.com/FallseF/form-outreach CorporateDirectoryBot/1.0 (+https://github.com/FallseF/form-outreach)
FormURLResearchBot 不明 4 — FormURLResearchBot/0.1 (+contact-form-index; respects robots.txt)
CompanyMapBot CompanyMap 4 https://companymap.co.uk/bot.html Mozilla/5.0 (compatible; CompanyMapBot/0.1; +https://companymap.co.uk/bot.html)
AonsightMetaBot Aonsight 4 https://aonsight.com/bot Mozilla/5.0 (compatible; AonsightMetaBot/1.0; +https://aonsight.com/bot)
sellsybot Sellsy 4 — sellsybot/1.0 (+mailto:dev@sellsy.com)
getdomaindata getdomaindata 3 https://getdomaindata.com/bot Mozilla/5.0 (compatible; getdomaindata/1.0; +https://getdomaindata.com/bot)
FindDoBot 不明（hokenss.co.jp） 3 — Mozilla/5.0 (compatible; FindDoBot/0.1; +contact via hokenss.co.jp)
BlogCommentBot 不明 2 — Mozilla/5.0 (compatible; BlogCommentBot/1.0)
N-POWER-listbot N-POWER 2 https://n-power.ai N-POWER-listbot/0.1 (+https://n-power.ai; contact: k.yao@n-power.ai)
RepetivBot Repetiv 2 — Mozilla/5.0 (compatible; RepetivBot/1.0; +mailto:podpora@repetiv.cz)
NosideArticleBot ノーサイド 1 https://noside-ltd.co.jp/ NosideArticleBot/1.0 (+https://noside-ltd.co.jp/)
DomainCareersCrawler 不明 1 — DomainCareersCrawler/1.0
AkoniLeadHuntBot Recruiting Systems 1 https://www.recruiting-systems.com Mozilla/5.0 (compatible; AkoniLeadHuntBot/1.0; +https://www.recruiting-systems.com) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0 Safari/537.36

セキュリティ・インフラ（15種 / 81）

bot 運営組織 クロール数 参照URL UA例
RobotsSitemapsFetcher 不明 22 — Mozilla/5.0 (compatible; RobotsSitemapsFetcher/1.3)
Google-Apps-Script Google（実行者は不明） 9 https://script.google.com Mozilla/5.0 (compatible; Google-Apps-Script; beanserver; +https://script.google.com; id: UAEmdDd8La1USW8p6wa5XGxDd3UIV_wV2lw)
DNSCrawler 不明 8 https://crawler.example/about DNSCrawler/1.0 (+https://crawler.example/about)
dead-link-checker (Tencent) Tencent 7 https://git.woa.com/web_search/spider/fetcher/databus/agent-browser Mozilla/5.0 (compatible; dead-link-checker/0.1; +https://git.woa.com/web_search/spider/fetcher/databus/agent-browser)
intelx.io_bot Intelligence X 7 https://intelx.io Mozilla/5.0 (compatible; intelx.io_bot +https://intelx.io)
BitSightBot BitSight 6 — Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.6312.86 Safari/537.36 BitSightBot/1.0
URLChecker 不明 4 https://example.com/bot Mozilla/5.0 (compatible; URLChecker/1.0; +https://example.com/bot)
NRDbot 不明 4 — Mozilla/5.0 (compatible; NRDbot/1.0; +site-liveness-check)
osentix-crawler Osentix 3 https://osentix.com/bot Mozilla/5.0 (compatible; osentix-crawler/1.0; +https://osentix.com/bot)
AliyunSecBot Alibaba Cloud 3 — AliyunSecBot/Aliyun (AliyunSecBot@service.alibaba.com)
MagentoCrawler 不明 2 — Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 MagentoCrawler/1.0
RateOnTime-Bot RateOnTime 2 https://rateontime.com RateOnTime-Bot/1.0 (+https://rateontime.com)
Pandalytics (domainsbot) DomainsBot 2 https://domainsbot.com/network-crawler-pandalytics-kdc68dhsbd/ Pandalytics/2.0 (+https://domainsbot.com/network-crawler-pandalytics-kdc68dhsbd/)
KStandBot url-classification.io 1 http://url-classification.io/wiki/index.php?title=URL_server_crawler Mozilla/5.0 (Windows NT 6.1; Win64; x64; +http://url-classification.io/wiki/index.php?title=URL_server_crawler) KStandBot/1.0
CT-WP-Scanner 不明 1 https://example.com/bot Mozilla/5.0 (compatible; CT-WP-Scanner/1.0; +https://example.com/bot)

ひとこと

こうやって眺めてみるだけでも知らないbotが多くて面白い。
あまりbotの来ないサイトなのかなと思いつつ、見てみたらそうでもなかったというか。
顔の表面の皮膚を顕微鏡で見てみたら色んな細菌があったような感じというか。（あまりうまくない例え）

また追加のbotがあれば載せていくかも知れません。

ブログへのサポートのお願い

いつも「バカに毛が生えたブログ」をご愛読いただきありがとうございます。

現在、このブログは皆様のおかげで無料・広告なし（※）で運営しております。
※AdSenseはセンシティブ判定されてしまうため、広告を掲載できません。

ブログの継続とさらなる充実のためご支援をお願いします。
支援は一度限りのショット支援として、¥150から可能です。

いただいた支援は、以下のような形で活用させていただきます：

  • サーバー費用やサイトの維持
  • 新しいコンテンツの作成
  • モチベーション

ご希望の方はスパチャ読みをいたしますので、その旨をお知らせください。

ご支援はより良いブログを提供するための力になります。

こちらのメールアドレスを送信先にしてください。
↓タップするとコピーされます

PreferredSourceもぜひ登録お願いします！

コメント

タイトルとURLをコピーしました