3大サーチエンジン企業の、Google、Yahoo!、Microsoft(MSN Live Search)は、robots.txtとmeta robotsタグの取り扱いについて、共通の仕様を取りまとめました。

Robots Exclusion Protocol (REP)と言います。
※日本語訳は「ロボット排除プロトコル

各サーチエンジンのブログでアナウンスされています。

今回3社が取りまとめた共通の仕様は、次のとおりです。
※各項目は、Google ウェブマスター向けヘルプ センターの説明にリンクしています(一部を除く)。
英語で表示される場合は、ページ右上から言語を「日本語」に変更してください。

●robots.txtの記述

●meta robotsタグ

共通仕様ではないのですが、Crawl-DelayMicrosoftとYahoo!の2社がサポートします。

Crawl-Delayは、ロボットのクロール頻度を調整するmeta robotsタグです。
Googleはサポートしませんが、Google ウェブマスターツールでクロール頻度を設定できます。

Google独自サポートのmeta robotsタグは、以下です。


Yahoo!独自サポート
のmeta robotsタグは、以下です。

この記事では、robots.txtの記述とmeta robotsタグについて各項目の説明をしませんでした。
近いうちに、まとめてみようと思います。

知りたいことがあれば、コメントに残してください。

このエントリーが役に立ったらシェアしてください

[Ads & Featured Articles]

次のエントリも読むとSEOにさらに強くなります。

海外SEO情報ブログTOPGoogle SEO › グーグル・ヤフー・マイクロソフト、robots.txtとmeta robotsタグの共通仕様をサポート

▲ページの一番上に戻る