【WordPressメモ】?img=linkというURLにクローラーが来た

5月 1st, 2012

クローラーのログを眺めてたら

■UserAgent
SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

■URL
www.baka-ke.com/lab/baka-ke_lab.php?img=link

という謎のパラメーターがあったので気になって調べてみました。

 

?img=linkの原因

調べてたらまさに解答となっているサイトがあったので掲載。

URL末尾に「?img=link」、Googleが重複インデックス | SEOとウェブデザインの情報サイト【Googlezon】

ところで「?img=link」の原因なんですけど、WordPressで作ったサイトにケータイ表示用のプラグインを入れていると付与されるパラメータみたいでした。

というわけで経路を確認してみました。

 

経路

Ktai styleでモバイルサイトに変換されたもの。
画像を直接表示せずに「リンク表示(URL表示のみ)にする」という部分のURLに付与されていました。

<a id=”inline” href=”/2012/03/12/difference-pc-smartphone-preview-bot/?img=link”>リンクにする</a>

直接「バカ毛実験室」に遷移できるページには画像がなかったのでこのリンクはなかったのですが、どこかでこの「?img=link」を付与してしまうとそのパラメーターをそのまま引っ張って遷移してしまうみたいです。

 

重複コンテンツは問題ない?

前述の記事から抜粋。

最新のWordPressはがheadに書いてあればデフォルトでrel=”canonical”を出力します。

PCサイトにはcanonical設定されているのでPCの検索結果には影響ないかと思うのですが、モバイルの検索結果がどうなるのかが気になりました。
(モバイル変換されたページに関してはcanonical設定なし)

あとcanonicalに関してgooモバイルとかYahoo!モバイルがどういう対処をするのか、とか。
モバイル検索の影響はそこまで大きくなさそうとも思うのですがひとまず気になったのでメモとして。。。

ユーザーエージェント(UserAgent)とは何か?を分かりやすく書いてみた

1月 8th, 2012

昨年GoogleウェブマスターブログでiPhone向けのロボットが発表されました。
参照:Google ウェブマスター向け公式ブログ: スマートフォン版 Googlebot-Mobile の導入について

この発表の際に聞かれたのが「ユーザーエージェントってなんですか?」。

調べても分からなかったとのことで「ユーザーエージェントとは」の上位サイトを確認してみたところ・・・

1位

ユーザーエージェント (User agent、略称UA(ユー エー))とは、利用者があるプロトコルに基づいてデータを利用する際に用いるソフトウェアまたはハードウェアを指す。「利用者エージェント」とも言う。
HTTPを用いてWorld Wide Webにアクセスするための「ウェブブラウザ」が代表的なユーザーエージェントの1つであるが、「ユーザーエージェンt(ry
Wikipedia「ユーザーエージェント」

2位

ユーザーエージェントとは、Webサイトへのアクセスの際に使用されるプログラムのことである。

HTMLを解釈して画像化し、Webサイトとしてディスプレイに映し出すためのレンダリングを行い、ディスプレイに画像・文字などを表示するためのWebブラウザや、検索用データベーs(ry
ユーザーエージェントとは – IT用語辞典 Weblio辞書

うん、激しくわかりにくい。
というわけで、若干大まかな説明なのですが簡単にまとめてみました。

 

日常生活に例えてみる

まずユーザーエージェントのことを一旦頭から外しましょう。
普段、みなさんが家を訪問する際にいきなり家のドアを開けることはないと思います。
まず最初に自分の名前を名乗りますよね。


※クリックすると拡大します。

玄関で「山田です」など名乗っています。
で、家の主人が「あら、山田さん。お待ちしていました。正は2階にいるので上がってくださいな」とか言って、招き入れてくれるわけですね。

 

webも同じような仕組み

ブラウザを何となく開いて、何となくサイトを見ることが多いかと思うのであまり意識はしないのですが、実はアクセスする際もこの「名乗り」があります。


※クリックすると拡大します。

 

各々のユーザーが「InternetExplorerです」など名乗っています。
その「名乗り」がユーザーエージェントです。

 

ちなみに簡易的に表現しましたが実際のユーザーエージェントはこんな感じ。

「GooglebotのiPhone版ロボットです」
Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_1 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8B117 Safari/6531.22.7 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

「docomoのSH901iCです」
DoCoMo/2.0 SH901iC(c100;TB;W24H12)

 

何が出来るの?

ウェブサイト側で「このユーザーエージェントはこっちのページを見せる」などを設定できます。
例えば

・PCサイト/モバイルサイト/スマートフォンサイトの振り分け
・flashサイト/flash非対応サイトの振り分け

など。

こんな感じです。
ユーザーの名乗りを聞いてから適切なところに誘導ができます。

 

応用編(ユーザーエージェントの偽装)

firefoxのアドオンなどでユーザーエージェントの偽装をすることも可能。

参照:User Agent Switcher :: Add-ons for Firefox

これを使用することで、firefoxのブラウザで「SH901iCです」などと名乗りを偽ることができます。
そうすると、モバイルサイトの閲覧がPCでできることがあります。

※完全に「閲覧ができる」と書いていないのはユーザーエージェント以外にも制限の方法があり、別の設定で制限をかけられていると閲覧することができないためです。
※ちなみにGoogleなどの検索クローラーもUserAgentの偽装を使っています。なのでGooglebotのiPhone版が出たからといって、実際にiPhoneからアクセスしているわけではありません。 

 

以上、簡単ではありますが、もしかしたら需要があるかもと思いまとめてみました。
ご意見・ご指摘等あればよろしくお願いいたします!

 

※おまけ
UserAgent調べる君(今現在のUserAgentをチェックできます。いろんな端末でアクセスしてみると面白いです)
http://www.baka-ke.com/lab/useragent.php

スマートフォン向けクローラーが発表。検索結果の順位は?

12月 16th, 2011

まさかの年末急展開。
Googleのスマホ向けクローラーをテストで回しているという話は出回っていましたが、遂に公式発表がありました。

Google ウェブマスター向け公式ブログ: スマートフォン版 Googlebot-Mobile の導入について

Googleでは、従来の携帯電話(フィーチャーフォン)のユーザーエージェントを使用した Googlebot-Mobile に加えて、スマートフォンのユーザーエージェントを使用した Googlebot-Mobile によるクロールを開始しましたのでお知らせいたします。スマートフォン版 Googlebot-Mobile の導入により、より幅広くスマートフォン用コンテンツを収集して、スマートフォンユーザーのための検索サービスの改善に利用していきます。

 

気になる検索結果の順位

 

(個人的な予想です)
現状スマホ向けのページを生成しているサイトはそれほど多くないように感じています。
なのでスマホ向けページを生成しているからといって大幅に順位が上がる、なんてことは直近では「ない」のではないかと思うわけです。

ユーザーはコンテンツを探したいのであって、フォーマットを探したいのではないのです、ただし、スマートフォンというユーザインターフェースやそのデバイスが持つ機能を考慮したら、優れたUXを提供するために行うべきことは行われていくのでしょう。
米Google、スマートフォンサイト専用のクローラを発表 Googlebot-Mobile ::SEM R

渡辺さんのこの言葉にあるように、コンテンツが優れていないと検索結果の上位に表示する意味はないと思うのです。
「スマホ向けページがある」=「優れたコンテンツ」というわけでは決してないので。
ただ、

・「スマホ向けページがある」という点が評価の一つに加味される
・「スマホ向けページがあるサイトに絞り込む」みたいなメニューが出てくる
(フォーマットを探したいわけではない、という考え方からすると違うのかもですが)
・Googleモバイルの携帯マーク(※)のようなものが付与される

ということはあるのではないかと予測しています。

※携帯マーク

公式に書かれているようにスマホ向けサイトを持っている場合、UAの振り分けをきちんと確認しておくことが重要です。

また今後スマホ向けページを持っておくということが何かしらのアドバンテージになるのかなと思います。
なによりユーザーにとっては使い勝手がいいですからね。

PCの検索結果画面にモバイルサイトが表示される場合の対処法まとめ

11月 25th, 2011

そんな話があって調べてたらまとめているサイトが意外と少なかったのでまとめ。

Google ウェブマスター向け公式ブログ: モバイル版とデスクトップ版の両方のサイトを運営しているウェブマスターの皆様へ

とりあえずここを見ておけば解決します。
対処法としては2つ。

 

リダイレクトを使用した設定

 

デスクトップ版 URL に携帯ユーザーからのアクセスがあった場合、対応するモバイル版 URL にリダイレクトするという手法です。これによって Google は両者の関係に気づき、デスクトップからの検索に対してはデスクトップ版の URL を、モバイル検索にはモバイル版の URL を出すことが可能となります。

PCサイト→(リダイレクト)→モバイルサイト

という手法ですね。
記事の補足に

逆に、モバイル版の URL に通常のデスクトップブラウザや Googlebot からアクセスがあった場合は、デスクトップ版 URL にリダイレクトする必要は特にありません。

とあるのですが、個人的にはこれは必要だと思ってます。
というのも、モバイルサイトがPCの検索結果に表示される理由はモバイルサイトに何らかの理由でPCのクローラーがアクセスしPCサイトとしてインデックスしてしまう、というのが最終的にPCサイトの検索結果に表示される要因になると思われるためです。

 

以下のような構成の場合。

http://example.com/(PCサイト)

http://example.com/m/(モバイルサイト)

 

http://example.com/
Googlebotがアクセスした場合、そのまま
Googlebot-Mobileがアクセスした場合、/m/にリダイレクト

 

http://example.com/m/
Googlebotがアクセスした場合、PCサイト(http://example.com/)にリダイレクト
Googlebot-Mobileがアクセスした場合、そのまま

 

という設定が理想的です。

 

URLの統一

 

これが物凄くシンプルで間違いがないです。

http://example.com/でURLを統一してしまう方法。

 

http://example.com/
PCでアクセスした場合→PC向け画面の表示
モバイルでアクセスした場合→モバイル向け画面の表示

ファイルを一つにして画面を切り替える方法ですね。
こっちの方が見え方は綺麗な気がします。

 

リダイレクトの種類は?

 

携帯サイトへのリダイレクトは301でも302でもOK & パンダ・アップデートはモバイル検索にも導入 – 海外SEO情報ブログ

デスクトップ用ページから従来のモバイル端末用ページにGooglebot-Mobileをリダイレクトするなら、301か302のどちらを使っても構わない。両方ともOKだ。Googleはどちらかを好むということはない。これは他のリダイレクトには当てはまらない特殊なケースだ。

リダイレクトの方法は今のところどっちでもよいとのことですが301リダイレクトだとdocomo端末の一部で「サイトが移動しました(301)」と表示されるので302リダイレクトの方がいいと個人的には思ってます。
(過去にもちょっと書きました「携帯サイトへのリダイレクト設定は302をオススメしたい」)

 

PCサイトからリダイレクトでモバイルサイトを発見する場合はGoogleはうまく処理するけど、モバイルサイトに直でアクセスしてしまう場合には処理が上手くいかない場合があるのかも知れませんね。

スーパーロボット大戦(Mediapartners-Google vs ichiro)

10月 6th, 2011

GoogleのAdSenseを設定しているサイトだと、広告が表示されるタイミングで

Mediapartners-Google

のUAを持ったロボットが来ます。
先日ログを見てたら面白いのがあったので紹介します。

 

あるモバイルサイトのログ

通常、検索エンジンロボットが来てもMediapartners-Googleは反応しないのですがある日、こんなログが連続して残っていました。

DoCoMo/2.0 P900i(c100;TB;W24H11) (compatible; ichiro/mobile goo; +http://help.goo.ne.jp/help/article/1142/)
Nokia6820/2.0 (4.83) Profile/MIDP-1.0 Configuration/CLDC-1.0 (compatible; Mediapartners-Google/2.1; +http://www.Google.com/bot.html)
DoCoMo/2.0 P900i(c100;TB;W24H11) (compatible; ichiro/mobile goo; +http://help.goo.ne.jp/help/article/1142/)
Nokia6820/2.0 (4.83) Profile/MIDP-1.0 Configuration/CLDC-1.0 (compatible; Mediapartners-Google/2.1; +http://www.Google.com/bot.html)
DoCoMo/2.0 P900i(c100;TB;W24H11) (compatible; ichiro/mobile goo; +http://help.goo.ne.jp/help/article/1142/)
Nokia6820/2.0 (4.83) Profile/MIDP-1.0 Configuration/CLDC-1.0 (compatible; Mediapartners-Google/2.1; +http://www.Google.com/bot.html)
DoCoMo/2.0 P900i(c100;TB;W24H11) (compatible; ichiro/mobile goo; +http://help.goo.ne.jp/help/article/1142/)
Nokia6820/2.0 (4.83) Profile/MIDP-1.0 Configuration/CLDC-1.0 (compatible; Mediapartners-Google/2.1; +http://www.Google.com/bot.html)

※gooのロボットはUAの一部に「ichiro」と付いてます。

わかりにくいのですが

モバイルgooのロボット
→AdSenseのロボット
→モバイルgooのロボット
→AdSenseのロボット
→モバイルgooのロボット
→AdSenseのロボット
→モバイルgooのロボット
→AdSenseのロボット

となっています。
モバイルgooのロボットに反応してGoogleAdSenseのロボットが来ているということですw

ロボットに対して広告は表示されている?

・・・と、ここまで書いて気付いたのですが、gooのロボットに反応している可能性があるということはつまりgooのロボットに対してAdSenseが反応していて、モバイルコンテンツの広告表示回数だったりCTRがあまり当てにならない可能性がある、ということ?

引き続き調査をしてみますがもしほかに情報をお持ちの方がいらっしゃいましたら教えてください。