[対象: 中級]
CSSやJavaScriptをGooglebotがクロールするのをブロックしてはいけません。
特に現在では、モバイル向けサイトをGoogleが正しく認識する妨げになることがあります。
Googlebotのクロール方式に変化あり？
WebmasterWorldに次のような投稿がありました。
正確な時期はわからないが、7月か8月あたりからGoogleがクロールのやり方を変えた。
ページのレンダリングが完了してからクロールを始めるようになった。
以前は静的なHTMLを読み込んですぐにクロールを開始していたけれど、今はJavaScriptが実行されページがユーザーが閲覧するための完全な状態になってからクロールを開始するようになっていると、この投稿者は気付いたのです。
CSS・JSのブロック解除は今すぐできる一番簡単なSEO
この発見をBarry Shwartz（バリー・シュワルツ）氏がSearch Engine Roundtableブログに書き、Google+でシェアしました。
すると英GoogleのPierre Far（ピエール・ファー）氏が次のようにコメントを書き込みました。
私たちが今年の5月に話したことだ。（⇒ こちらの記事を参照）
Fetch as Googleを使うとGoogleがどのようにページを見ているかを調べられる。（⇒ こちらの記事を参照）
みんなに頼んでおきたいことがある。
可能な範囲での最高の方法で私たちにインデックスしてほしいなら、お願いだから、すべてのCSSとJavaScriptのクロールを許可しておいてほしい。昔から、CSSやJavaScriptのクロールをブロックした方がいいと勧められることがよくある。だが今こんなふうにブロックを続けたら、サイトのインデックスを自らすすんで妨害していることになる。
（CCSやJavaScriptのブロックをやめることは）今すぐできる一番簡単なSEOだ。
CSS・JSのブロックはモバイル向けサイトの理解にもマイナス
ファー氏のコメントに対してこんな質問が付きました。
CSSやJavaScriptなしでもすべてのコンテンツにアクセスできたとしても、CSSやJavaScriptをブロックするとインデックスの妨げになることがあるのか？
ファー氏は次のように答えを返します。
もちろんそうだ。わかりやすい例を挙げてみる。
CSSやJSを見ることができなかったとしたら、そのページがモバイル向けに最適化されているかいないかがわからないことがあるかもしれない。つまり、モバイル向けに最適化しようとして一生懸命やってきたことが、アルゴリズムに評価されなくなってしまう。
robots.txtファイルのほんの数行でそんなことになってしまうのはすごくもったいないことだ。
JavaScriptもCSSもGooglebotに自由にクロールさせる
原則的に現在は、JavaScriptもCSSもGooglebotに自由にクロールさせるべきです。
もちろんGooglebot-Mobileに対しても同様にクロールを許可します。
そのほうがGoogleに完全にコンテンツを理解してもらえるからです。
ブロックすることにきちんとした意味があり、クロールされると無視できないトラブルが発生してしまう場合に限って拒否することはあり得ます。
でもそういった場合でも、対処策がほかにないのかを十分に検討しなければなりません。
上級者レベルの判断が必要になるでしょう。
「JavaScriptやCSSをブロックしないように」というGoogleの推奨はまったく新しいものではありません。
2012年の3月にGoogleのMatt Cutts（マット・カッツ）氏は動画で説明しています。
スマートフォンの普及にともないモバイル向けサイトが当たり前の時代です。
モバイル向けサイトを正しく認識してもらうためにも、クロールの許可が重要です。
Google推奨のモバイル構成を初めて発表した2012年のSMX Advancedのセッションで、ファー氏は次のように注意を促していました。
モバイルクローラをブロックしているサイトがあるが絶対にやらないこと。すべてクロールできるようにしてもらえれば適切に処理する。
Maile Ohye（マイリー・オーイェ）さんは、2013年に公開した「モバイル向けサイト改善のためのチェックリスト」のなかで次のように指示しています。
robots.txtで拒否しているリソース（CSS、JavaScript）のブロックを解除する
このように振り返ると、CSSとJavaScriptを自由にクロールさせてほしいとGoogleが常に望んでいることがわかります。
でも繰り返し注意を喚起している理由は、Googlebotのクロールをブロックしているサイトが依然として後を絶たないからでしょう。
コンテンツをきちんと理解したもらうため、そしてモバイル向けサイトの存在を正しく認識してもらうためにもGooglebotのクロールをブロックしないようにしてください。