unavailable_afterを未来の日付に自動更新しても大丈夫? Googleの見解

[レベル: 上級]

未来の日付に unavailable_after タグを自動的に変更し続けても Google は正常に処理してくれるのでしょうか?

unavailable_after は、指定した日時以降にそのページを検索結果に表示しないように指示する meta タグです。

未来の日付に unavailable_after を自動更新したい

次のような趣旨の質問が LinkedIn に投稿されました。

クラシファイド サイト(求人・不動産・中古品売買などを紹介するサイト)の SEO コンサルティングを担当している。
このサイトでは、コンテンツの入れ替わりが非常に激しい。

  • サイトの状況:常にインデックスされているURLのベースは約 5,000 件。毎月約 10,000 件の新しい求人・出品情報が生成されるが、各ページの寿命は 24 〜 72 時間と非常に短い。
  • 課題:404エラーの大量発生を防ぎ、クロールバジェットを適切に管理するため、短寿命のページすべてに unavailable_after meta タグを実装したいと考えている。
  • 懸念:ユーザーが掲載期限を延長(更新)することがあるため、システムが動的に unavailable_after の日付を未来へ更新し続ける仕様になる。

【Google 検索チームへの質問】

  • 同一URLで unavailable_after の日付が何度も先送りに変更された場合、検索順位やサイト評価への悪影響につながる心配はないか?
  • タグの日付が頻繁に変わることで、Googlebot が最終的にこのタグを無視するようになってしまわないか?
  • このように高頻度で変更が発生する環境で、インデックスのライフサイクル管理としてタグを動的に利用することは問題ないか?

検索チームの Gary Illyes(ゲイリー・イリェーシュ)氏はこう回答しました。

いい質問だ……。正直分からないので確認する必要がある。

直感的には、unavailable_after の日付を先送りすること自体は問題ないはずだ。しかし、その新しい日付を Google が認識するには、ページを再度クロールする必要があるという点は押さえておく必要がある。unavailable_after の日付は、インデックス選択以外には影響せず、「このページはもう削除していい」というシグナルとして機能するだけだ。

unavailable_after は純粋なインデックス選択シグナル

unavailable_after の日付を先へ延ばした場合、たとえそれが頻繁であっても、ランキングへの悪影響が発生することはないと考えられます。
このタグは、インデックス選択のシグナルとして純粋に機能し、「この時点で削除してよい」という予約指示を与える役割を果たすだけだからです。

ただし、更新後のタグを Googlebot が読み取るには、そのページを再度クロールする必要があります。
期限切れの直前に日付を延長しても、その URL に対する Googlebot のクロール頻度が低ければ、更新を認識できず、当初指定されていた日付を迎えると URL がインデックスから削除されます。
この点は留意しておく必要があります。

また、unavailable_aftermeta タグ以外にも、HTTP ヘッダーとして設定することが可能です。

しかしながら、Google が更新されたメタデータを確認するために HEAD リクエストを使用することはほとんどありません。
そのため、変更後の日付を認識させるには、通常どおりページ全体を取得してレンダリングさせる必要があると、イリェーシュは補足しています。

なお、元 Google Search Quality チームメンバーの Pedro Dias(ペドロ・ディアス)氏は、更新を十分早い段階で反映させる限り、unavailable_after の動的な延長はエンタープライズ規模でも効果的に機能することを確認している、とコメントしています。

◇ ◇ ◇

結論としては、unavailable_after を将来の日付に頻繁に更新しても、サイトやページの評価に悪い影響を与える可能性はなさそうです。

ただし、十分なリードタイムを確保する必要があります。
以前の有効期限を迎える前に Googlebot に更新を認識されなければなりません。

サイトマップの lastmod や、求人サイトであれば Indexing API が手助けになるでしょう。(Search Console のインデックス送信リクエストは、自動化できないし制限があるので、今回のように対象ページ数が多いケースでは現実的ではない)