[レベル: 上級]
Google-Extended クローラーに関する技術ドキュメントを Google は更新しました。
Google-Extended は、Google の生成 AI がウェブページをトレーニングデータとして利用することを制御するときに指定するユーザーエージェントです。
対象の生成 AI を Bard から Gemini へ変更
Google-Extended の制御対象は、以前は次の 2 つの生成 AI でした。
- Bard
- Vertex AI の生成 API
現在は次のようになっています。
- Gemini アプリ ※Gemini アプリについてはこちらを参照
- Vertex AI の生成 API
Bard が Gemini へと名称変更したので、この更新は自然な流れです。
Google-Extended 制御は検索には影響せず
次の一文がドキュメントに追加されました。
Google 検索でのサイトの登録と掲載順位に Google-Extended が影響することはありません。
Google-Extended を robots.txt でブロックしても、検索でのインデックスやランキングには影響しません。
Gemini（と Vertex AI API）の改善に利用されなくなるだけです。
最初からそうだったのですが、明文化されたことで安心できます。
自社サイトのコンテンツを Gemini の学習に勝手に利用されたくなければ、Google-Extended をブロックしてください。
検索に害を及ぼすことはありません。
参考までに、Google-Extended は SGE を制御しません。
SGE は検索の一部なので、SGE を制御するには Googlebot をユーザーエージェントに指定しなければなりません。
つまり、検索にも影響が出ます。
Google-Extended をブロックする？ しない？
Google-Extended をブロックしている大手ニュースサイトが国内でも確認できます。
こららのサイトは Google-Extended だけではなく、主要な生成 AI のクローラもブロックしています。
ちなみに僕は、どの生成 AI クローラーも自由にさせています（個人の趣味ブログなので気にしません）。