Bingになっても、ロボットはMSNbotのまま

Decision Engineとして新しいコンセプトの元にスタートした、MicrosoftのBingは、それなりに好調なようです。

Googleには遠く及ばないものの、調査元によってはYahoo!のシェアを超えています。

ただ日本のBingは、外身だけがBingで、中身はほぼLive Searchのままです。
早く日本のBingでも、意思決定エンジンの能力を体験してみたいものです。

さて、大きく様変わりしたBingですが、クローラ(ロボット)も変わったのでしょうか?

Bing CommunityのWebmaster Blogのアナウンスによると、 クローラの名前は以前と同じく、msnbotのままです。

2008年の12月にバージョンアップした、「msnbot/2.0b」がそのまま稼動しています。

ログには、次のように記録されます。

msnbot/2.0b (+http://search.msn.com/msnbot.htm)

また、一世代前の「msnbot/1.1」もまだ現役で活躍しているとのことです。

msnbot/1.1 (+http://search.msn.com/msnbot.htm)

robots.txtをはじめ、ユーザーエージェントを指定する設定は多くのサイト管理者が利用しているので、クローラーの名前はそう簡単に変えることはできませんね。

与える影響の規模と範囲が大きくなります。

もっとも名前はそのままでも、性能の向上には常に取り組んでいるはずです。

一方で、Micorosftは新しいクローラの開発も進めています。

1ヶ月以上前になりますが、WebmasterWorldで「adidxbot」というMicrosoftのクローラの存在が報告されました。

次のようなユーザーエージェントのログが、確認されています。

adidxbot/1.1 (+http://search.msn.com/msnbot.htm)

Microsoftを代表するメンバーのmsndudeが、スレッドの中で自分たちのロボットだと認めています。

adidxbotに関しては、Bing Communityのフォーラムでも、トピックに挙げられました。

adidxbotは、行儀が悪いらしく激しい頻度でサーバーにアクセスし、高負荷をかけていたそうです。

Microsoftはすぐに対応し、今は問題は起こっていないと思われます。

アクセスログに従来のmsnbotに加えて、「adidxbot」が出てきたらそれはMicrosoftの新人クローラーだと認識してください。