クロールバジェットを消費するのはどのHTTPステータスコード? 404はクロールバジェットに本当に影響しないのか? #scldd2025

[レベル: 上級]

Faber Company の海外遠征の一環で、タイのバンコクで 7/23 〜 7/25 に開催された Search Central Live Deep Dive Asia Pacific 2025参加してきました。

イベント期間中にセッションハイライトを LinkedIn に投稿しており、そのなかから各 HTTP ステータスコードクロールバジェットを消費するかどうかの実態をこの記事でシェアします。

クロールバジェット vs. HTTP ステータスコード

各ステータスコードがクロールバジェットを消費するかどうかの対応は次のとおりです。

  • 1xx(情報レスポンス):クロールバジェットに影響しない
  • 2xx(成功):クロールバジェットを消費する
  • 3xx(リダイレクト):「ホップ」ごとにクロールバジェットを消費する
  • 4xx(クライアントエラー):インデックス登録できず、クロールバジェットには影響しない
    ※ただし、429 を除く。またソフト 404200 のようにクロールバジェットに影響する
  • 5xx(サーバーエラー)および 429:インデックス登録できず、クロールが遅くなり、クロールバジェットを消費する
Crawl Budget vs. HTTP Status Codes

大量に 404 があってもクロールバジェットに影響はないのか?

ここで、404 がクロールバジェットを消費しないことを疑わしく感じた人がいるかもしれません。

ゲイリーに直接確認してきました。

次のような回答を得ました。

404 はクロールバジェットに影響しない。もし 404 がクロールバジェットを消費するなら、キミのサイトに競合他社が害を及ぼすことができてしまうが、そのようなことは決して起こらない。

サイトにたとえ何百万もの 404 ページがあったとしても、Google のクロールスケジューラはそれに対応するように調整する。

たしかに、競合が嫌がらせで存在しないページにリンクを張りまくったらネガティブ SEO が可能です。
そういったことは実際に発生していないので(いないよね?) 404 がクロールバジェットを浪費するという心配はいらなそうです。