リダイレクト前・削除後の古いURLが検索結果に長い間残り続けるのはよくあること

[対象: 初級]

サイトのリニューアルに伴ってURLを変更しました。

サイトマップを送信して新しいURLはインデックスされました。

URL削除ツールで300以上の古いURLの削除をリクエストしたのですが、site:で検索するといまだに2,000以上のURLが残っています。

site:で出てきた古いURLを1つ1つ手動で削除リクエストしていて大変です。

古いURLを完全に消去して新しいURLをインデックスさせるにはどうしたらいいですか。

こんな質問が、英語版のGoogleのウェブマスター向け公式ヘルプフォーラムに投稿されました。

GoogleのJohn Mueller(ジョン・ミューラー)氏が次のアドバイスを返しています。

URL削除ツールは、今回のサイトのリニューアルのような通常のメンテナンスに使うためのものではない。このケースでは使用はやめたほうがいい。

実際には、サーバー側で解決する必要がある。変更になったURLを301リダイレクトし、今は無効になったURLには404か410を返すようにすることが最もいい解決方法だ。

追加として次の情報も提供しておく。

404とは若干異なるように410を我々(Google)は処理するが、私なら違いを気にしない。変更になった個々のURLに対して完璧なリザルトコードを生成するのに開発者が苦労するなら、404でも410と同等に働く(が、結果が目に見えるまでには、404のほうがほんの少しだけ時間がかかるかもしれない)。

クロールとインデックスには時間がかかる。検索結果から完全に削除されるまでには、数ヶ月、ひょっとしたら1年もかかることも珍しいことではない。

リダイレクトが適切に設定されいるのであれば、古いURLが残っていることにユーザーは気付かないはずだ(正しいURLに転送されもする)。

したがって、少なくとも一般ユーザーが使うことがないような、「site:」「inurl:」「filetype:」構文を用いた、それを調べるためだけの“人工的な”クエリで古いURLが出てきたとしても、やきもきすることはない。

ポイントをまとめると次のようになります。

  • URLの変更には301リダイレクトを使う
  • リダイレクト前や削除後の古いURLに対してはURL削除ツールを使わない
  • なくなったURLには404を返す(410とほぼ同じように働く)
  • 検索結果から消えるには長い時間がかかることがある
  • 一般のユーザーが実行しないような検索で出てきても気にしない

僕のブログの常連読者にとっては、何度も聞いたことがある注意事項のはずです。
まったく目新しい情報ではありません。
(なので、この記事の対象は「初級」に設定)

ですが、似た趣旨の質問が英語版・日本語版を問わずヘルプフォーラムには絶えず投稿されます。
知らないとわからないことだというのは、理解できなくはありません。

削除したURLやリダイレクト前のURLの状態が検索結果に反映されるまでにかかる時間は、URLのタイプにも大きく依存します。

トップページや特にリンクが集まっている個別ページはクロール頻度が高いので、速やかに更新されるのが普通です。

しかし、月別のアーカイブページやページネーションしたずっと後ろの方のページのように、1、2ヶ月に1回くらいしかクローラが回ってこないようなURLではなかなかインデックスから消えないこともあります。

これはもうジタバタせずに、そういうものだと割りきってやっていくしかありませんね。

ミューラー氏が指摘するように、消えないURLを探すための検索を実行するのはあなただけであって、ユーザーは実行しません。