[レベル: 中級]
Search Console のクロール頻度制限ツールを 2024 年 1 月 8 日をもって Google は提供終了します。
クロール頻度制限ツールは、Googlebot がサイトに対して行う 1 秒間あたりのリクエスト数が多すぎてサーバーの処理が遅くなっている場合に、クロールの速度を遅くするように指示するツールです。
利用価値が薄れてきたためサポート終了
クロール頻度制限ツールのサポートを Google が終了する理由はいくつかあります。
端的にまとめると次のようになります。
- クロール頻度の自動調整処理が進歩した
- パブリッシャーが利用できるその他のツールが改善された
- サイトが、クロール頻度制限ツールを使用する必要に本当に迫られたケースはほとんどなかった
クロール頻度の自動調整に関して、Google は次のように説明しています。
たとえば、サーバーがさまざまな URL に対して HTTP 500 ステータス コードを継続的に返す場合、Googlebot はほとんどすぐに自動でクロール頻度を下げます。同様に、リクエストに対する応答時間が大幅に長くなった場合も、自動的にクロール頻度を下げます。
このツールを利用した場合でも、効果が現れるまでかなり時間がかかっていたそうです。
効果が出るまでに 1 日以上かかったケースもあったとのことです。
まったく機能していなかったわけではないようですが、実質的な効果に疑問を感じていたサイト管理者もいたと思われます。
クロール頻度制限ツールは、旧 Search Console に実装されていたツールです。
現行の Search Console が正式リリースされてから 5 年以上がたちますが、移行されませんでした。
当初から、ゆくゆくは廃止する計画だったのではないでしょうか。
なんにせよ、クロール頻度制限ツールに全面的に頼っていたサイトはほとんどないはずです。
廃止で困ることもないでしょう。
なお、クロール頻度制限ツールでクロール速度を遅くするように設定していた場合、サポート終了後は、最低クロール頻度を以前のクロール頻度制限と同等の低い頻度に設定するとことです。
つまり、以前の設定を引き継いでクロールします。
それぞれのサイトの状況に応じて、クロール速度を Google は適切に設定するようになっています。
それでも万が一異常なクロール行動が検出された場合は、これまで同様にレポートフォームから問題を報告できます。