Googleは、どのくらい深い階層までクローリングするのか

おなじみのGoogle, Matt Cutts(マット・カッツ)氏のウェブマスター向けQ&Aビデオです。

質問は、「深い階層までGoogleに確実にインデックスしてもらうには、どうしたらいいのか」です。

How can I make sure Google reaches my deeper pages?

まず、「階層」を定義しておきましょう。

ここでいう階層は、ディレクトリ(フォルダ)の階層ではありません。
トップページからいくつのクリックで到達できるかのリンクの階層です。

下のようなURLがあったとします。
http://www.example.com/dir1/dir2/dir3/dir4/dir5/abc.html

abc.htmlは、ルートディレクトリ(/)から5階層目のディレクトリ(dir5)に存在します。

しかし、もしトップページからabc.htmlへのリンクが張られていたとしたら、リンクの階層は1階層になります。

URLに現れる階層というのは、クローリングという点ではさほど重要ではありません。
(見た目には浅いほうが分かりやすく、SERPでのCTRも上がるようです。また10階層、100階層のように極端に深い階層構造は、クローリングにも好ましくないようにも感じます)

サイトの階層構造で気にかけるのは、リンクの階層(トップから何クリックで到達できるか)のほうです。

以上を踏まえて、Matt Cutts氏の回答をまとめます。

上の前提知識で説明したように、Googleが問題にするのはトップページから通過するリンクの数です。

いくつのディレクトリ階層になっているかを見るのではなく、PageRankがいくつかを見ます。

通常はトップページにリンクが集まるので、トップページのPageRankが高くなるでしょう。
リンクを通過するごとにPageRankは減っていくため、Googlebotは一定以上のリンクを通過すると、それ以上先に進むのをストップします。

したがって、コンバージョン率が高いページ、ROIが高いページのように重要なページを確実にクローリングしてもらうには、より少ないクリックでトップページから到達できるように内部リンクを構成するようにします。

すべてのページを一律に扱うのではなく、「キー」となるページをより上に持ってきましょう。
「上」というのは、もちろん少ないクリックでアクセスできる状態のことです。