[レベル: 上級]
Google のクロールバジェットはホスト名ごとに割り当てられます。
ホスト名はサブドメインと置き換えてかまいません。
たとえば、次のドメイン名のサイトにはそれぞれのクロールバジェットを Google は割り当てます。
www.example.comblog.example.comen.example.com
クロールバジェットはホスト単位で独立している
Google の John Mueller（ジョン・ミューラー）氏と Gary Illyes（ゲイリー・イリース）が LinkedIn で次のように質問されました。
ドメイン A のページがドメイン B (別のサーバー) からリソースを読み込む場合、Google のクロールバジェットに関連する質問があります。
- ドメイン B のリソースが読み込まれた場合、ドメイン A のクロールバジェットに影響がありますか？
- ドメイン B のリソースが読み込まれた場合、ドメイン B のクロールバジェットに影響がありますか？
- ドメイン B のリソースはドメイン A のクロールバジェットに影響しますか？
まず、ミューラー氏が返答します。
それぞれが独立している。
ここで、元 Google 検索チームの社員だった Pedro Dias（ペドロ・ディアス）氏が割って入ります。
私の理解では、クロールバジェットはホスト名ごとに割り当てられますよね？ つまり、同じドメイン内でも、複数のサブドメインがそれぞれ独自のクロールレート制限を持つことがあるということです。
遅れて出てきたゲイリー・イリース氏は「そのとおりだ」とお墨付きを与えます。
まとめ
Google のクロールバジェットは、ホスト名ごとに割り当てられます。つまり、ドメイン A がドメイン B からリソースを読み込んでも、ドメイン A のクロールバジェットに直接的な影響はありません。
ドメイン B のクロールバジェットが消費されます。
そして、同じドメイン内であっても、サブドメインごとに個別のクロールバジェットが設定されている場合があります。
もっとも、大多数のサイトではクロールバジェットを気にかける必要はありません。
何百万ページ、何千万ページといった超大規模サイトにクロールバジェットは関係してきます。