[対象: 初級]
CSSファイルやJavascriptファイルへのGooglebotのクロールをrobots.txtでブロックしないようにしてほしいと、GoogleのMatt Cutts(マット・カッツ)氏が“公共メッセージ”を流しました。
もし、JavascriptやCSSにGooglebotがクロールするのをブロックしているとしたら、少しだけ時間を取ってその記述をrobots.txtから削除してほしい。
JavascriptやCSSをクロールさせてもらえればそのページでどんなことが起こっているかをより適切に理解できる。
帯域幅のようなリソースを浪費しないようにとブロックする人がたくさんいるけれど、Googlebotはかなり高性能なのでそういったものを速すぎるくらいにクロールしたりはしない。
ほかにもFlashがJavascriptを含んでいるのを知らなくてJavascriptをブロックしてしまう人もいる。そうすると僕たちが望むようには効率的にサイトをクロールできなくなってしまう。
加えて、Googlebotは、Javascriptを処理するのが上手になってきている。CSSを見てそのページで何が重要なのかを発見できるようになってきている。
したがって、Googlebotをもしブロックしているなら少し時間を割いてブロックの記述を削除してもらうようにお願いしたい。そうすればGooglbotが中を見てあなたのサイトやページで何が起こっているのかをより適切に理解できる。
「もっとも的確な結果を僕たちは返す」という観点から言えば、みんなの役に立つはずだ。「JavascriptとCSSをブロックする」という慣用句があるけれど今はそんなことをする必要はない。できることならJavascriptやCSSといったものを積極的にGooglebotにクロールさせてほしい。
JavascriptやCSSをrobots.txtでブロックしなくていいということは3年以上前にもMatt Cutts氏はビデオで説明しています。
隠すよりも見させてコンテンツの理解促進に役立ててもらったほうがユーザーにとってもサイト管理者にとってもメリットが大きいからです。
JavascriptやCSSをクロールすることでサイト内のウェブページへのクロールが阻害されることはないとのことでした。
またGooglebotはJavascriptを実行することが可能になっています。
たまたま昨日発見したのですが、Javascriptで作られたリンクをクリックしないとその先が読めないコンテンツを確かにGoogleはインデックスしていました。
Javascriptを利用したFacebookプラグインのなかのコメントをインデックスし始めたという事件もありましたね。
CSSを見ないとAbove the Foldに広告が多いかどうかも的確に判断できなさそうです。
SEOをそれなりに学んでいる人はJavascriptもCSSもブロックしたりはしていないでしょう。
でももしあなたがJavascriptやCSSをブロックしているとしたら、Matt Cutts氏の依頼に従って削除しましょう。
そのほうが、あなたにとってもプラスになるはずです。
P.S.
「SEOがよくできているサイトとできていないサイトの条件を平等にし、過剰なSEOの評価を下げる」とのコメントのなかでMatt Cutts氏は次のように言っていました。
the Google Bot smarter, we try to make our relevance more adaptive so that people don’t do SEO
Googlebotがより高性能になってきて、みんながSEOをやらなくてもいいように関連性をもっと適用させられるように取り組んでいる。
JavascriptやFlashはSEOでは利用すべきでないと言われています。
それはクロール、インデックスがされづらいからです。
でもこれは検索エンジン側の問題ですよね。
サイト管理者としてはJavascriptはFlashを使ったほうが都合がいいことも多いのです。
ユーザーにとって便利な場合もあります。
もし非常に有益なコンテンツを提供していたとしても、サイト管理者がまったくSEOを知らなくてJavascriptやFlashでそのコンテンツを作っていたとしたら検索にひっかからないかもしれません。
有益なコンテンツが検索結果に出てこないというのは、ユーザーにとってもサイト管理者にとっても、そしてGoogleにとってもマイナスでしかありません。
SEOを知らずにJavascriptやFlashのように検索エンジンが苦手な方法でコンテンツを作っていたとしても、Googlebotの性能が向上したため条件を平等にして評価できるようになった、ということもMatt Cutts氏の発言には含まれているのではないかと僕は考えます。
重複コンテンツを発生させないための正規化やtitleタグ・meta descriptionタグをユニークにしたりすることには、SEOを意識していないと気が向かないでしょう。
重複コンテンツを自分たちで解消できるように取り組んでいたりtitleタグを書き換えたりというのも、SEOが上手なサイト管理者とそうでないサイト管理者を“平等”にするための対策の一環かもしれませんね。