[対象: 初級]

CSSファイルやJavascriptファイルへのGooglebotのクロールをrobots.txtでブロックしないようにしてほしいと、GoogleのMatt Cutts(マット・カッツ)氏が“公共メッセージ”を流しました。

もし、JavascriptやCSSにGooglebotがクロールするのをブロックしているとしたら、少しだけ時間を取ってその記述をrobots.txtから削除してほしい。

JavascriptやCSSをクロールさせてもらえればそのページでどんなことが起こっているかをより適切に理解できる。

帯域幅のようなリソースを浪費しないようにとブロックする人がたくさんいるけれど、Googlebotはかなり高性能なのでそういったものを速すぎるくらいにクロールしたりはしない。

ほかにもFlashがJavascriptを含んでいるのを知らなくてJavascriptをブロックしてしまう人もいる。そうすると僕たちが望むようには効率的にサイトをクロールできなくなってしまう。

加えて、Googlebotは、Javascriptを処理するのが上手になってきている。CSSを見てそのページで何が重要なのかを発見できるようになってきている。

したがって、Googlebotをもしブロックしているなら少し時間を割いてブロックの記述を削除してもらうようにお願いしたい。そうすればGooglbotが中を見てあなたのサイトやページで何が起こっているのかをより適切に理解できる。

「もっとも的確な結果を僕たちは返す」という観点から言えば、みんなの役に立つはずだ。「JavascriptとCSSをブロックする」という慣用句があるけれど今はそんなことをする必要はない。できることならJavascriptやCSSといったものを積極的にGooglebotにクロールさせてほしい。

JavascriptやCSSをrobots.txtでブロックしなくていいということは3年以上前にもMatt Cutts氏はビデオで説明しています。

隠すよりも見させてコンテンツの理解促進に役立ててもらったほうがユーザーにとってもサイト管理者にとってもメリットが大きいからです。

JavascriptやCSSをクロールすることでサイト内のウェブページへのクロールが阻害されることはないとのことでした。

またGooglebotはJavascriptを実行することが可能になっています。

たまたま昨日発見したのですが、Javascriptで作られたリンクをクリックしないとその先が読めないコンテンツを確かにGoogleはインデックスしていました。
Javascriptを利用したFacebookプラグインのなかのコメントをインデックスし始めたという事件もありましたね。

CSSを見ないとAbove the Foldに広告が多いかどうかも的確に判断できなさそうです。

SEOをそれなりに学んでいる人はJavascriptもCSSもブロックしたりはしていないでしょう。
でももしあなたがJavascriptやCSSをブロックしているとしたら、Matt Cutts氏の依頼に従って削除しましょう。
そのほうが、あなたにとってもプラスになるはずです。

P.S.
SEOがよくできているサイトとできていないサイトの条件を平等にし、過剰なSEOの評価を下げる」とのコメントのなかでMatt Cutts氏は次のように言っていました。

the Google Bot smarter, we try to make our relevance more adaptive so that people don’t do SEO

Googlebotがより高性能になってきて、みんながSEOをやらなくてもいいように関連性をもっと適用させられるように取り組んでいる。

JavascriptやFlashはSEOでは利用すべきでないと言われています。
それはクロール、インデックスがされづらいからです。

でもこれは検索エンジン側の問題ですよね。
サイト管理者としてはJavascriptはFlashを使ったほうが都合がいいことも多いのです。
ユーザーにとって便利な場合もあります。

もし非常に有益なコンテンツを提供していたとしても、サイト管理者がまったくSEOを知らなくてJavascriptやFlashでそのコンテンツを作っていたとしたら検索にひっかからないかもしれません。

有益なコンテンツが検索結果に出てこないというのは、ユーザーにとってもサイト管理者にとっても、そしてGoogleにとってもマイナスでしかありません。

SEOを知らずにJavascriptやFlashのように検索エンジンが苦手な方法でコンテンツを作っていたとしても、Googlebotの性能が向上したため条件を平等にして評価できるようになった、ということもMatt Cutts氏の発言には含まれているのではないかと僕は考えます。

重複コンテンツを発生させないための正規化やtitleタグ・meta descriptionタグをユニークにしたりすることには、SEOを意識していないと気が向かないでしょう。

重複コンテンツを自分たちで解消できるように取り組んでいたりtitleタグを書き換えたりというのも、SEOが上手なサイト管理者とそうでないサイト管理者を“平等”にするための対策の一環かもしれませんね。

このエントリーが役に立ったらシェアしてください

[Ads & Featured Articles]

海外SEO情報ブログTOPGoogle SEO › Googleからのお願い、「CSS・JavascriptをGooglebotがクロールするのをブロックしないで」

Comments

  1. By on

    こんにちは。いつも本ブログにて勉強させて頂いておりますfilterQと申します。本記事も丁寧な解説ありがとうございました。

    どのように評価するかはさておき、JSやCSSについてはソースコードをボットがクロールすることに違和感はないのですが、FLASHについては疑問が残りました。

    というのも、SWFファイルはコンパイル後のファイルであるわけで、もしインデックスするならデコンパイルが必要となります。Googleのデータベース上でデコンパイルの処理をしてActionScripの解析、ということをおこなうのでしょうか?

    まだFLASHで制作したページが多い昨今、ActionScriptのソースコードを解析→インデックスされるのは理想形とも言えますが、テキストファイルと異なり膨大なファイルサイズになりがちなSWFを都度デコンパイルとなると、Google側の負担が増すことになるわけで、自分にはあまり現実味が湧きません。

    逆に、Googleがここまで出来る状態にあるとすれば、ウェブサイトのフロントエンドについてはほぼ全てGoogleの検索インデックスにおいて評価対象となっている(あるいは今後なる)ということなのでしょうか?

    FLASHについての知見が浅い中なので稚拙な質問かもしれませんが、ご回答頂けたら幸いです。

    *** Reply from Suzuki Kenichi ***
    この記事でブロックしてほしくないと言われたのは、JavascriptとCSSです。
    FLASHのインデックスに関しては、sIFRやSWFObjectを利用します。

▲ページの一番上に戻る