YSTの復活?ヤフーのクローラ、Slurpの動きが活発化

[対象: 上級]

米Yahoo!ロゴ
Yahoo!独自の検索システムであるYahoo! Search Technology (ヤフー サーチ テクノロジー、通称YST) で使われていたクローラ、Slurpの動きが活発化しているようです。

米Microsoftとの提携に基いて日本のYahoo!を除くYahoo!は現在Bingの検索システムを利用しています(日Yahoo!は米Googleと提携)。

よってYSTはその役目を終えているのですが、Slurpの目立つ活動が今になって確認できます。

サーバーの生ログにはたとえば次のようなデータが大量に記録されています。

72.30.161.247 - - [24/Sep/2012:01:29:11 +0900] "GET /blog/google-rating-guidelins-may-help-us-to-understand-quality-of-wepages/ HTTP/1.0" 200 12056 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

ユーザーエージェントにSlurpの名前を見て取ることができます。

IPアドレスを逆引きで調べてみると米Yahoo!からのアクセスに間違いないようです。

72.30.161.247をDNS逆引きした結果

このIPアドレスはYSTのベースの1つになっている米Inktomiに割り当てられたものです。

72.30.161.247のWhois情報

Slurpを偽装したと思われるアクセスもいくつか見られるのですが、IPアドレスから本物だと推定できるSlurpのアクセスば僕のブログでは1日に少なくとも200回以上観察できました。

米Yahoo!のSite Explererが終了した際に、公式アナウンスの最後でYahoo!は次のように説明していました。

Will Yahoo! continue to crawl my website?

Although the organic results will be powered by Microsoft Search platforms, Yahoo! will continue to innovate on the search experience beyond the services delivered by Microsoft. In order to provide Yahoo! users with an amazing search experience, our slurp crawlers may continue to selectively crawl websites to help support these efforts.

簡単に言うと、「Bingのシステムを今後は使うけれどYahoo!ユーザーの検索体験をさらに向上させるための手助けとしてSlurpは動かし続ける」というものです。

Slurpを停止させたということではないし、その後もSlurpが引退したという話を、たとえ噂であったとしても僕は聞いたことがありません。

したがってSlurpのアクセスが確認されることは不思議なことではありません。

しかし突然クロール頻度が増したと気付いている人もいます。

僕自身は以前のログと比較したわけではないので、Slurpの訪問頻度が本当に増えたのかどうかは分かりません。
ひょっとすると以前からこのくらい来ていたのかもしれません(Slurpのクロール頻度の変化をどなたかに調べてもらえると嬉しいです)。

米Googleの創業当時からのメンバーで上級幹部だったMarissa Mayer(マリッサ・メイヤー)氏が今年の7月に米Yahoo!のCEOに就任しました。

「Yahoo!が検索業界に再び戻るための兆しか?」とも勘ぐりたくなります。

もっとも個人的にはその可能性は極めて低いとは思いますが。

独自の検索システムに戻るというよりも、公式アナウンスにもあったように新たな革新的な検索サービスを開発するための情報をより精力的にウェブから集めだしたのかもしれませんね。

ちなみに、米Yahoo!と米Microsoftの検索事業における提携の期限は2019年まで有効です。

いずれにしてもSlurpが元気を取り戻してきたらしいことは、Yahoo!検索が存在していたころからSEOに関わってきた僕たちからしてみると気になるニュースになります。

といっても、少なくとも今のところはゴシップネタにしか過ぎませんけどね。