Bingクローラ(MSNBot) / Googleモバイル クローラ / Yahoo!モバイル クローラのIPアドレス

万人向けの情報ではないのですが(このブログはいつもそう?w)、BingのクローラであるMSNBotのIPアドレスの調査データがWebmasterWorldで公開されていたのでシェアします。

65.54.164.36 – 65.54.135.0
65.54.165.7
65.54.165.32 – 65.54.165.74
65.54.165.97 – 65.54.165.111
65.55.2.134 – 65.55.2.248
65.55.3.134 – 65.55.3.253
65.55.4.7 – 65.55.4.35
65.55.4.50 – 65.55.4.236
65.55.37.133 – 65.55.37.247
65.55.51.6 – 65.55.51.120
65.55.51.138 – 65.55.51.252
65.55.104.10 – 65.55.110.225
65.55.115.135 – 65.55.115.230
65.55.165.11 – 65.55.165.130
65.55.207.11 – 65.55.207.154
65.55.217.16
65.55.217.69
65.55.217.145
65.55.217.161
65.55.217.167
65.55.219.34
65.55.219.135 – 65.55.220.230
65.55.230.11 – 65.55.232.255
65.55.235.138 – 65.55.235.143
65.55.235.158 – 65.55.235.165
65.55.235.170
65.55.235.192 – 65.55.235.202
65.55.235.205
65.55.246.30 – 65.55.246.129
207.46.98.0 – 207.46.98.2
207.46.98.5 – 207.46.98.255
207.46.126.10 – 207.46.126.247
207.46.127.10 – 207.46.127.247

こちらはその他のBing関連のロボットと思われるクローラのIPアドレスです。

64.4.0.0 – 64.4.63.255
65.52.0.0 – 65.55.255.255
94.245.64.0 – 94.245.127.255
205.248.0.0 – 205.248.255.255
207.46.0.0 – 207.46.255.255
207.68.128.0 – 207.68.207.255
209.240.192.0 – 209.240.223.255

注意点ですが、これらはWMWのメンバーの1人がDNSのリバースルックアップを基に調べたMSNBotのIPレンジになります。

したがってMicrosoftが認めたわけではなく非公式のデータです。

一般的に、検索エンジン会社はクローラのIPアドレス帯域を公開していません。

Googleは次のように理由を説明しています。

Google では、ウェブマスター向けホワイトリストの IP アドレスの公開リストを掲載していません。これは IP アドレス範囲が変更する可能性があるからで、アドレスを直接入力したウェブマスターにとって問題が生じるからです。Googlebot のアクセスを確認する最も確実な方法は、user-agent (Googlebot) を使用することです。

Yahoo!はヘルプには記載がないものの、問い合わせたところやはり非公開とのことでした。

お問い合せいただいた「YSTのクローラーのIPアドレス」について
回答いたします。

お問い合せいただきましたにもかかわらず、誠に申し訳ございませんが、
現在、YSTのクローラーのIPアドレスは非公開とさせていただいており、
公開の予定もございません。

GooglebotやSlurpのIPアドレスについては、独自のデータを公開しているサイトがあるようなので知りたい方は検索して調べてください(比較的古いものばかりだったので、この記事では引用しません)。

通常のウェブ検索用クローラのIPアドレスは公開しない一方で、モバイル検索のクローラのIPアドレスはGoogleもYahoo!も公開しています。

Google ウェブマスター/サイト所有者 ヘルプ より ~

Google のモバイル クロールでは以下の IP アドレス帯域を利用します。

72.14.199.0/25 (72.14.199.0 – 72.14.199.127)
209.85.238.0/25 (209.85.238.0 – 209.85.238.127)

※こちらの公式アナウンスも参照してください。

Yahoo!検索 サイト管理者向けヘルプ より~

モバイル版Yahoo!検索のクローラーのユーザーエージェントおよびIPアドレスの帯域は、以下のとおりです。

【IPアドレス】
124.83.159.146 ~ 124.83.159.185
124.83.159.224 ~ 124.83.159.247

モバイル検索は日本独自の部分が大きいので、自由度がきくから公開できるんでしょうかね。