robots.txtによるサイトマップのクロスサイト送信

robots.txtでサイトマップ(サーチエンジン対象のXMLサイトマップ)を送信できる仕組みを、Sitemap Autodiscovery(サイトマップ・オートディスカバリー)といいます。

通常、サイトマップは同じドメインのディレクトリに保存しなければなりません。
たとえば、このブログのサイトマップであれば、www.suzukikenichi.com内のどこかのディレクトリに格納しなければなりません。

しかし、sitemap.orgはサイトマップの仕様を拡張し、サイトマップを任意の場所に保存することができるようになりました。

Sitemap Cross Submission(サイトマップ・クロス・サブミッション、サイトマップ・クロス送信)と言います。
※定義された明確な用語があるわけではないようです。Cross-host submissionとか、Cross-Domain Sitemapsという用語もあります。

サイトマップクロス送信により、好きな場所にサイトマップを配置できるので、1か所にサイトマップをまとめて保存することも可能です。

Google、Yahoo!、Micorosft Live Searchの主要3大サーチエンジンは、サイトマップクロス送信をサポートしたことを公式に発表しました。

以前に海外SEO情報メルマガで、Sitemap Autodiscoveryについて解説しましたが、クロスサイト更新の設定方法も含めて、Sitemap Autodiscoveryについて再度説明します。

Sitemap Autodiscoveryは、非常にシンプルです。
robots.txtにサイトマップの場所を記述して、ドメインのルートディレクトリ(トップ階層のフォルダ)にアップロードするだけです。

もともと、robots.txtはクローラのアクセス制御のためのファイルでしたが、機能が拡張されサイトマップ検出にも利用できるようになりました。

robots.txtの記述方法は、次のとおりです。

エディタ(Windowsのメモ帳など)で、以下のように入力します。

sitemap: http://www.suzukikenichi.com/sitemap.xml

「sitemap:」の後に続くのは、XMLサイトマップが存在するURLです。

この例では、sitemap.xmlという名前のサイトマップファイルが、www.suzukikenichi.comのトップディレクトリにあることを意味しています。

もし、abc-sitemap.xmlというサイトマップを、www.abc.co.jpの中にあるsitemapというサブディレクトリに保存するなら、このようになります。

sitemap: http://www.abc.co.jp/sitemap/abc-sitemap.xml

できあがったファイルを、robots.txtという名前で保存し、ルートディレクトリにアップロードすれば完了です。

クローラはサイトにアクセスすると、最初にrobots.txtを見るように設計されているので、robots.txtに書かれているSitemap Autodiscoveryの記述により、サイトマップを発見できます。

今までは、XMLサイトマップを置くのは、XMLサイトマップに記述されたサイトでなければなりませんでした。

www.suzukikenichi.comのサイトマップであれば、www.suzukikenichi.comサイトの中にあるディレクトリに保存しなければならなかったということです。

別ドメインのサイトのwww.abc.co.jpにあるsitemapディレクトリには、保存することはできませんでした。

「自分のサイトマップは、自分の入れ物に」ということですね。

しかし、今回のクロスサイト送信により、異なるドメインのサイトにも、サイトマップを置くことができるようになったのです。

www.suzukikenichi.comsitemap.xmlというサイトマップと、
www.abc.co.jpabc-sitemap.xmlというサイトマップと、
xyz.abc.co.jpxyzsitemap.xmlというサイトマップを、

すべて、www.abc.co.jp/sitemapに保存するとしましょう。

robots.txtには次のように記述します。

www.suzukikenichi.comのrobots.txt
sitemap: http://www.abc.co.jp/sitemap/sitemap.xml

www.abc.co.jpのrobots.txt
sitemap: http://www.abc.co.jp/sitemap/abc-sitemap.xml

xyz.abc.co.jpのrobots.txt
sitemap: http://www.abc.co.jp/sitemap/xyzsitemap.xml

1つめと3つめは、自分以外の場所(自ドメインとは異なるドメインのURL)を指定していますよね。

たくさんのサイトを管理していて、XMLサイトマップを作成しているウェブマスターにとっては、サイトマップを1か所に集められるので管理が楽になるはずです。

賢く利用しましょう。

P.S.
クロスサイトマップ送信の手順を、うまく説明できたかあまり自信がありません。(??;
不明な点があれば、コメントで質問してください。