短いコンテンツのほうがクロールされやすいのか? Googleのクロールはより賢く

[レベル: 初級]

コンテンツが短いほうが、クロールされやすくなったりインデックスされやすくなったりするといったことはありません。

コンテンツの長さはクロールやインデックスに影響しない

英語版オフィスアワーで次のような質問が取り上げられました。

各トピックをカバーするディレクトリページ(一覧ページ)がサイトにあり、そのページはそれほど検索されません。コンテンツが短いなら、そうしたページを Google がクロールしインデックスする可能性が高くなりますか? 短い方がインデックスに必要なリソースを節約できます。

Gary Illyes(ゲイリー・イリェーシュ)氏がこの質問に回答します。

面白い質問だ。

どのくらい頻繁にクロールするかやインデックスするかどうかにコンテンツの長さは影響しない。また、URL のパターンのクロール頻度にも役立たない。

ニッチなコンテンツでもインデックスされうるし、(ニッチだからといって)いかなる場合でもペナルティを受けることはない。しかし、一般的には、インターネットで人気があるコンテンツ、たとえば多くの人にリンクされているコンテンツの方がクロール、インデックスされやすい。


コンテンツが短いからといって、クロール頻度が上がったりインデックスされやすくなったりはしないとのことです。

予想できる回答だったのではないでしょうか。

クロールの改善

先月参加してきた Search Central Live Conference Singapore で、Google のクロールの改良についてもゲイリーは触れました。

Smarter Crawling

より賢いスケジューリング

クロールのスケジューリング性能が向上しました。
更新が頻繁なページはより頻繁にクロールします。

同じサイトであっても、ページごとに調整できます。
たとえば、BBC のサイトならトップページは非常に頻繁に更新されます(ともすれば数分おきに?)。
一方で、プライバシーポリシーはめったに更新されないでしょう。
クロール頻度に差をつけます。

リソース割当の推測

クロールする前に、どのくらいのリソースを割り当てるかを推測します。
誤判定は非常に少ないとのことでした。
クロールに必要なコンピューティングのリソースを効率的に配分できます。

これらのクロールの改善には当然 AI/ML が関わっているでしょうね。

こうしたことからも、単純にコンテンツの長さがクロールやインデックスを左右しないと想定できます。