[レベル: 中級]
スマートフォン版のGooglebotをrobots.txtでブロックしている場合、そのページの説明文を表示できない理由をモバイル検索結果のスニペットでGoogleは伝えるようにしました。
GoogleのZinebさんがGoogle+でアナウンスしています。
スマホ版GooglebotのUA
まずおさらいです。
現在Googleはスマートフォン用のGooglebotとして次のユーザーエージェント (User-Agent, UA) を使っています。
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
「Googlebot-Mobile」ではなく「Googlebot」に1年前に変更しました。
「iPhone」によってスマートフォンであることを示します（なので、「Googlebot」を特定した処理を通常してはいけない）。
robots.txtでブロックしたページのスニペット
robots.txtでブロックしたページが検索結果に出てくるときは、Googleはその理由をスニペットで説明します。
2012年8月に導入しました。
「この結果の説明は、このサイトの robots.txt により表示されません」というメッセージとrobots.txtを説明するヘルプページへのリンクを表示します。
スマホ版Googlebotのブロックに対しても理由説明のスニペット
スマートフォン用のGooglebotのクロールをブロックしている場合も同様に、モバイル検索結果では通常のスニペットの代わりに、robots.txtでブロックされていることを説明するように今回しました。
PC向けページではブロックしていなかったとしてもモバイル向けページでブロックしていれば、通常のスニペットの代わりにその理由をモバイル検索結果では表示します。
たとえばTwitterのホームページはウェブ検索ではスニペットが正常に表示されます。
ところがスマートフォンの検索結果では次のように表示されます。
Twitterはスマートフォンには別URLの mobile.twitter.com を使用しています。
こちらのドメイン名のモバイル向けサイトではrobots.txtでクロールをブロックしているようです（英語版のモバイル向けページはスニペットがきちんと表示される）。
スマートフォン版のGooglebotをブロックしない
気を付けるべきことは1つです。
スマートフォン版Googlebotのクロールをrobots.txtでブロックしてはいけない
スマートフォン版のGooglebotがモバイル向けページにアクセスすることをrobots.txtで拒否してはいけません。
クロールさせましょう。
またページに限らず、JavaScriptやCSS、画像へのアクセスも拒否してはいけません。
そのページのレンダリングやコンテンツの理解の妨げになります。
結果的に、本来よりも低い検索順位になってしまうかもしれません。
これはモバイル向けサイトに限ったことではありませんでしたね。
Googleは何度も言っているし、技術ガイドラインも更新しています。
そのURLやJavaScriptなどのアセットをブロックするべき明確な理由があって、ブロックすることによるクロールやインデックス、ランキングへの悪影響がないことを確実にわかっているのでない限りは、すべてのリソースへのクロールを許可することが原則です。
【UPDATE】
東京のサーチチームが主導して実装した仕様だそうです。