Google +1ボタンはrobots.txtを無視する

[レベル:中級]

Googleのクローラのコンテンツへのアクセスを拒否するときはrobots.txtを使います。

しかし+1ボタンを設置しているページで、その+1ボタンが押されたときはGoogleは、robots.txtのブロック指定を無視して、クローリングし検索結果に表示することがあり得るそうです。

GoogleのエンジニアのJenny Murphy(ジェニー・マーフィー)さんが、Google公式ヘルプフォーラムで2度に渡ってこれまでに説明しました。

Google+のヘルプページの+1ボタン セクションに次のように書かれています。

Does +1 affect how Google crawls my site?

When you add the +1 button to a page, Google assumes that you want that page to be publicly available and visible in Google Search results. As a result, we may fetch and show that page even if it is disallowed in robots.txt.

「+1ボタンを設置するということは、そのページを一般に公開してGoogleの検索結果に出したいと考えている証拠だから、robots.txtでブロックしていても取得して検索結果にだすことがある」と説明しています。

ちなみにこのセクションは、対応する日本語のヘルプページには存在しません。
訳し忘れ?、わざと?
【UPDATE】現在は日本語訳されています。

CMSを使っていれば一か所で設定するとすべてのページに+1ボタンを表示できます。

Googleのアクセスをrobots.txtでブロックしているページがサイト内にあるときは注意しましょう。

+1ボタンが押されたら中身を見られて、それだけではなく検索結果に出てきてしまうこともありえます。

気を付けてください。