３大サーチエンジン企業の、Google、Yahoo!、Microsoft（MSN Live Search）は、robots.txtとmeta robotsタグの取り扱いについて、共通の仕様を取りまとめました。
Robots Exclusion Protocol (REP)と言います。
※日本語訳は「ロボット排除プロトコル」
各サーチエンジンのブログでアナウンスされています。
- Official Google Webmaser Central Blog
Improving on Robots Exclusion Protocol - Yahoo! Search Blog
One Standard Fits All: Robots Exclusion Protocol for Yahoo!, Google and Microsoft - Live Search Webmaster Center Blog
Robots Exclusion Protocol: Joining Together to Provide Better Documentation
今回３社が取りまとめた共通の仕様は、次のとおりです。
※各項目は、Google ウェブマスター向けヘルプ センターの説明にリンクしています（一部を除く）。
英語で表示される場合は、ページ右上から言語を「日本語」に変更してください。
●robots.txtの記述
●meta robotsタグ
共通仕様ではないのですが、Crawl-DelayをMicrosoftとYahoo!の２社がサポートします。
Crawl-Delayは、ロボットのクロール頻度を調整するmeta robotsタグです。
Googleはサポートしませんが、Google ウェブマスターツールでクロール頻度を設定できます。
Google独自サポートのmeta robotsタグは、以下です。
Yahoo!独自サポートのmeta robotsタグは、以下です。
- NOYDIR
- Robots-nocontent
この記事では、robots.txtの記述とmeta robotsタグについて各項目の説明をしませんでした。
近いうちに、まとめてみようと思います。
知りたいことがあれば、コメントに残してください。