Googleは、新しいURLを発見する手段として、RSSとAtomフィードを利用するようになったと、Google Webmaster Centeral Blogでアナウンスしました。
これまでは新しいウェブページを見つけ出すのには、リンクまたはXMLサイトマップ、サイトの登録依頼などを利用していましたが、新たな手段が追加されたことになります。
RSS/Atomフィードは、すでにXMLサイトマップとしての使用が可能でしたが、今回の改良ではRSSリーダーや更新通知サービスのように、RSS/Atomフィードを読み取るようになりました。
公開されたばかりのウェブページを、より高速にインデックスできるようになります。
リアルタイム検索の実現に向けての一環でしょう。
なお、GoogleがRSSフィードをクローリングできるように、robots.txtで、Googlebotのアクセスを拒否していないことを確認してほしいとのことです。
元Google社員だった、Vanessa Fox（ヴァネッサ・フォックス）女史によれば、公式ブログでの説明からでは、フィードをインデックスするのか、フィードを手掛かりにオリジナルのページをインデックスするのか判断ができないとのことです。
どういうことかというと、フィードをインデックスする場合は、記事の一部だけの配信に設定した場合は、省略されたコンテンツはインデックスの対象になりません。
フィードの中に含まれていないからですね。
一方、フィードを発見のために使い元記事にアクセスするならば、コンテンツすべてが、インテックスの対象になります。
もし前者であれば、全文配信しないとすべてのコンテンツをクローリングしてもらえません。
Googleブログ検索は、以前はフィードで配信されたコンテンツだけがインデックス対象になっている前者の仕様でしたが、2008年の12月に後者の仕様に変更されました。
フィードを手掛かりにして、サイトに訪問してもらった方が、僕たちとしては嬉しいですね。
ブログには通常、フィード配信機能が初めから備わっているので、今回の拡張に対しては特に何もしなくて大丈夫なはずです。
一般的なサイトでも、フィード配信機能を組み込めば問題ないでしょう。
ただ、RSS配信したりPing送信したりすると、Goolgeにはブログ扱いされてしまうようなので、「うちのサイトはブログじゃない」とこだわりを持つサイト管理者は、考えてしまうかもしれませんね。