Bingの新しいクローラ、bingbotがお目見え

Bingは事前に通知していたとおり、クローラのユーザーエージェントをmsnbotからbinbotに切り替えました。

僕のブログにも訪れています。
アクセスログに記録が残っていました。

207.46.13.131 - - [29/Sep/2010:07:52:52 +0900] "GET /blog/i-transferred-my-wordpress-blog-to-a-new-server/ HTTP/1.1" 200 13992 "-" "Mozilla/5.0 (compatible; bingbot/2.0 +http://www.bing.com/bingbot.htm)"

207.46.195.240 - - [29/Sep/2010:13:55:20 +0900] "GET /blog/canonicalization-of-indexhtml-and-non-indexhtml/ HTTP/1.1" 200 11046 "-" "Mozilla/5.0 (compatible; bingbot/2.0 +http://www.bing.com/bingbot.htm)"

公式ブログでのアナウンスによれば、当初の予定を変更して、すぐにはbingbotへ完全にスイッチせずmsnbotと平行で動かすとのことです。

徐々にbingbotの割合を増やし、今後数週間かけてmsnbotと置き換えます。

bingbotはmsnbotを対象に書かれたrobots.txtやrobots meta タグの記述に従います。
したがってmsnbotのユーザーエージェント名でクローリングやインデックスを制御していても修正は不要です(変えたほうがいい気もしますが)。

しかし、.htaccessのなかでユーザーエージェント名で振り分けしている場合などは修正が必要です(しばらくはmsnbotも動き続けるので、完全に切り替わるまでは追加ですね)。

米Neilsenの調査では、米国における検索エンジンシェアでBingはYahoo!を追い抜きました。
勢いに乗っている感じですね。
それにひきかえ、日本のBingはすっかり影を潜めてしまっている気がします。