[レベル: 上級]
画像を CDN でホストしている構成では、本サイトと CDN サーバーのクロール バジェットは別々に割り当てられます。
サーバーのキャパシティはホスト名に基づく
外部の CDN サーバーから画像を配信しているサイトでは、クロールバジェットは本体のサイトと共有されるのか？ それとも別々に扱われるのか？
こうした趣旨の質問に Google の John Mueller（ジョン・ミューラー）氏は次のように説明しました。
サーバーのキャパシティはほとんどの場合 URL/ファイルのホスト名（ドメイン名）に基づく。なぜなら、そこから読み込まれるからだ。
画像が
yoursite.somecdn.comに置いてあり、（記事などの）コンテンツはwww.yoursite.comに置いてあるとしたら、それぞれに対して別々にサーバーキャパシティを監視する。
次のような構成で画像（または他のリソース）を配信していたとします。
- 本サイト（ユーザーがアクセスするサイト）:
www.example.com⇐ 自分のドメイン名 - 画像:
exmaple-cdn.com⇐ 外部の CDN サービスのドメイン名
この構成では、www.example.com と exmaple-cdn.com のサーバーの処理能力はそれぞれのサーバーに応じて判断されるとのことです。
クロールバジェットの割り当てにも影響してくるでしょう。
つまりクロールバジェットを共有しません。
したがって、片方へのクロールがもう片方へのクロールを阻害することはなさそうです。
一般的に言って、CDN はクロールに最適化されています。
画像を大量に公開している大規模サイトでクロールバジェットを気にするのであれば、CDN 経由での画像配信は有効な手段になりそうです。
📝すずき補足: 通常のサイトはクロールバジェットを気にかける必要はまったくありません
The server capacity is mostly based on the hostname of the URLs/files (since that's where the load tends to come together). That said, moving image URLs takes a very long time to be processed, and being able to crawl more doesn't mean Google will crawl more.
— 🧀 John 🧀 (@JohnMu) November 22, 2021
Just to be clearer, if your images are on yoursite. somecdn .com, and your content on www. yoursite .com, we would try to track the server capacity separately for them. (exception: if it's the same server, that doesn't change much, so we might fold it together then)
— 🧀 John 🧀 (@JohnMu) November 22, 2021
I don't know them, but in general, CDNs are super-easy to crawl since they're so well-tuned for serving a specific kind of content. Usually hosting static content on a CDN is a great idea.
— 🧀 John 🧀 (@JohnMu) November 22, 2021
That said, rewriting the URLs to be on your domain (eg, cdn. yoursite .com) has the advantage of letting you move CDNs later on, without needing redirects. That leaves room for optimization in the future (bigger/smaller/own CDN), which is also good.
— 🧀 John 🧀 (@JohnMu) November 22, 2021
画像を CDN 配信するときに知っておきたいこと
画像を CDN 配信するときに知っておきたいことがいくつかあります。
- 高頻度のクロールを処理する性能がサーバーにあったとしても、Googlebot のクロール頻度が上がるとは限らない
- 別ドメインで画像を配信したとしても、物理的なサーバーが同じならたいして違わない（例: 本サイトが
www.example.comで、画像を置くサイトがimage.example.com。ただし、サーバーは同じ） - ウェブページと比べると画像のクロール頻度は低い
- CDN からの画像配信でも、自分のドメイン名からの配信のように URL を書き換えると CDN を変更しても影響が少ない（たとえば、CNAME レコードを設定して、
exmaple-cdn.comにimage.exmaple.comの別名を与える）
画像専用ランディングページを作成することを画像検索のベストプラクティスとして昨日の記事で紹介しました。
木村さんがこんな指摘をしていました。
【Google推奨の画像SEO】画像ごとの専用ページを作成する https://t.co/oZwovu51pl
あくまで個人的見解だけど、これ大規模でやると通常側のクロール量が減って損失でること多いから、サイトごとにやるやらの判断は慎重にしたほうが良いと思う。— 木村賢(Satoshi Kimura) (@kimuyan) November 29, 2021
専用ページを作る分だけ URL が増えるという点に変わりはありませんが、画像を別サーバーに置くのはクロールの分散に多少なりとも役立つかもしれません。