[レベル: 初級]
次の robots meta タグはどちらも Google 検索では意味を持ちません。
<meta name="robots" content="index" /><meta name="robots" content="follow" />
Google は標準で、ページをインデックスするしリンクをたどるからです。
follow robots meta タグは Google 検索に何も影響しない
follow robots meta タグを記述することにはどんなメリットがあるのか？
こういった趣旨の質問が英語版オフィスアワーで出ました。
Google の John Mueller（ジョン・ミューラー）氏の回答を簡潔にまとめると次のようになります。
robots meta タグ の follow は Google 検索ではデフォルトの値になっているから検索には何ら影響しない。Google は無視する。
noindex や nofollow は役立つが index や follow は役立たない
ミューラー氏の説明は follow だけではなく index にも当てはまります。
そのページをインデックスさせたくないのであれば、noindex robots meta タグを追加します。
同様に、そのページのリンクをたどらせたくないのであれば、nofollow robots meta タグを追加します。
リンク追跡の拒否あるいはインデックスの拒否を命令する場合は noindex タグも nofollow タグも重宝します。
しかしながら、リンクをたどることを許可しインデックスすることを許可するのであれば index や follow を robots meta タグの content の値に設定しても役には立ちません。
なぜなら、なくてもリンクをたどるしインデックスするからです。
もともと許可されていると Google はみなすからです。
したがって、次の robots meta タグは Google 検索（およびほとんどの検索エンジン）においては、まったく意味を持ちません。
意味なし: <meta name="robots" content="index,follow" />
あってもなくても、Google の処理は変わりません。
あって悪影響が出るということもないですがとりあえず不要です。
ところで存在することに意味はないとして、削除することに意味はあるのでしょうか？
ないこともないかもしれません。
- コードがほんの少し軽くなる（体感速度を上げるほどの効果があるとは思わないが）
- この
robots metaタグを見て「必要なのか？」と悩む人を新たに生まなくなる（笑）
相反する場合は制限が厳しい方を
index と noindex、あるいは follow と noffolw の両方が記述されていたらどうなるのでしょうか？
たとえば、次のような組み合わせの robots meta タグが記述されていた場合です。
- index と noindex
<meta name="robots" content="index" /> <meta name="robots" content="noindex" /> - follow と nofollow
<meta name="robots" content="follow" /> <meta name="robots" content="nofollow" /> - index/follow と noindex/nofollow
<meta name="robots" content="index,follow" /> <meta name="robots" content="noindex,nofollow" />
こうした場合は、noindex または nofollow の命令が優先されます。
つまり index や follow の記述があってもインデックスしないしリンクをたどりません。
robots meta タグの処理は条件が厳しい方が適用される仕様になっているからです。
この記事では、robots meta index タグおよび robots meta follow タグの Google 検索での扱われ方について解説しました。
僕のブログでは珍しく初歩的な内容です。
robots meta タグについてさらに理解を深めたい方は技術ドキュメントと公式ブログ記事を参照しておくといいでしょう。