サイトの中のbotlogを見ていたら今はなき懐かしいGooglebotのUserAgentがあったという話。
過去に検証用で作ったページの一部にbotlogを回収する仕組みを作っていたのですが、そこのbotlogが2012年からずーっと溜まっていてふと見返してみると懐かしのUserAgentがあったので懐かしくなり昔話的に書いてみました。
2012年からのbotlog推移
検証用ページなので大した数はないですが2012年からのbot推移は次の通り。
※2026年は3月23日までの分
UserAgentをいくつかのパターンに分類してみるとこんな感じになります。
DoCoMo！（ガラケー！）
SAMSUNG！（ガラケー！2）
iPhone！（そういえば当初のスマホUA！）
PC用bot!（スマホ主流になりどんどん減っている）
かつてさまざまなbotがあったにも関わらず現在はAndroidが多くなっています。
（少なくともこの検証ページ群の中では）
懐かしのbotUA
ここで取得できていたbotのUA
DoCoMo・SAMSUNG（ガラケー用）
DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
いずれもガラケー用で使用されていました。
文献
スマートフォン用のコンテンツをクロールするための新しい Googlebot ユーザーエージェント
iPhone（当初のスマホUA）
年間で変化したわけではない（と思う）ですが、ログに残っていたUAをピックアップ。
2012-2013年
Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_1 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8B117
Safari/6531.22.7 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
2014年 Googlebot-Mobile表記が消えた
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
先程のと同じ文献でGooglebot-Mobile表記が消えたことについて記載あり
スマートフォン用のコンテンツをクロールするための新しい Googlebot ユーザーエージェント
2015年
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0_1 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko; Google Page Speed Insights) Version/6.0 Mobile/10A525 Safari/8536.25
2016年
Mozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12F70 Safari/600.1.4 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
当時GooglebotがiPhoneのUAだったということをログ見るまで忘れていた。
PC用bot
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Google 検索はほとんどのサイトについて、主としてコンテンツのモバイル バージョンをインデックスに登録します。そのため、Googlebot のクロール リクエストの大部分はモバイル クローラーを使用して行われ、一部がデスクトップ クローラーを使用して行われます。
Googlebot とは | Google 検索セントラル | Documentation | Google for Developers
…とある通り、自分のサイトの（さらに片隅の）コンテンツからは大きく減少しています。（一応来てはいる）
Android
2016年
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
2026年
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/145.0.7632.159 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
現在の主人公。UAはちょいちょい変わる。
リスト内のユーザー エージェント文字列に表示されている Chrome/W.X.Y.Z という文字列はプレースホルダであり、そのユーザー エージェントが使用する Chrome ブラウザのバージョンを表しています（例: 41.0.2272.96）。このバージョン番号は徐々に数字が大きくなり、Googlebot が使用する最新の Chromium リリース バージョンに一致します。
Google の一般的なクローラー | Google のクロール インフラストラクチャ | Crawling infrastructure | Google for Developers
一言
なぜ月曜の夜からbotの昔話をしているのか。
それは、この無機質な文字列の中に、私たちが歩んできたWebの進化がすべて刻まれていたからです。（…ということにさせてください）
〜終〜
ブログへのサポートのお願い（アマゾンギフト）
いつも「バカに毛が生えたブログ」をご愛読いただきありがとうございます。
現在、このブログは皆様のおかげで無料・広告なし（※）で運営しております。
※AdSenseはセンシティブ判定されてしまうため、広告を掲載できません。
ブログの継続とさらなる充実のためご支援をお願いします。
支援は一度限りのショット支援として、¥150から可能です。
いただいた支援は、以下のような形で活用させていただきます：
- サーバー費用やサイトの維持
- 新しいコンテンツの作成
- モチベーション
ご希望の方はスパチャ読みをいたしますので、その旨をお知らせください。
ご支援はより良いブログを提供するための力になります。
こちらのメールアドレスを送信先にしてください。
↓タップするとコピーされます
コメント