未発見のクローラーなど。メモ。
UserAgent DoCoMo/1.0/N505i/c20/TB/W20H10 (compatible; RFCrawler-Mobile/1.0; +http://www.rfms.jp/crawler.html)
Host cr001.rfcrawler.com
これは多分楽天ファストモバイルサーチかな、と。
てか、UAにURL入ってるのって、出元情報なのかｗ（今更！）
[RFMS]RFCrawlerクローラ情報
（http://www.rfms.jp/crawler.html）
これ、頓挫しちゃったのかなあ、しちゃったんでしょうね。
更新履歴が去年の夏で止まってるｗ
でもロボットは動いているというシュールな状況。
もう一つ。
UserAgent Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)
Host crawl-15c.cuil.com
これはこちらを参照。
Twiceler はどうしよう？
なんかのポータルみたい。
使ってみたけどよく分からんｗ
頻繁には来ないみたいだけど、邪魔なら制限するのもありかと。
何だかんだでYahoo!/Google意外を使うとどうにも苛々してくるあたりなんとも、なんでしょうな。
余談
ヤフーの検索結果にモバイルサイトが表記されるのはスマートフォン対策ではないか。
まあ、ねーなｗ
