Google検索結果のリンクが「google.com/goto」経由に、スクレイピング対策か? 副作用あり

[レベル: 上級]

Google 検索結果のリンクが、現在、google.com/goto 経由でリダイレクトされるようになっています。

検索結果スクレイパー対策の一環か

こちらは従来の検索結果です。
タイトルリンクにカーソルを当てると、そのページの URL が表示されます。
つまり、この URL にダイレクトにアクセスします(実際には計測用のパラメータが追加されている)。

通常リンク

仕様変更後の検索結果です。
http://www.google.com/goto にパラメータが付いた URL が表示されます。
この URL を経由してリダイレクトされたうえで、検索結果に表示されているページの URL にアクセスします。

gotoリンク

goto 経由のリダイレクトは、8 月第 1 週頃から大規模に展開が始まったようです。
現在は、100% 近くに到達していると思われます。

最初はテストかとも思われましたが、正式な仕様変更とのことです。
Search Engine Roundtable に対して Google の広報は次のようにコメントしました。

私たちは、進化し続けるさまざまな不正利用に対して技術的な対策を講じてきた長い歴史があり、サービスとユーザーを保護するための措置を定期的に実施しています。

検索結果での JavaScript 実行&num=100 パラメータ廃止と同様に、ランキングチェックツールに代表される検索結果のスクレイピング対策の一環と思われます。

とはいえ、各ランキングチェックツールのなかには早々に対応を完了させたものもあります。
イタチごっこは続きます。

goto 経由リダイレクトの副作用

ところが、goto 経由リダイレクトによる副作用が発生しています。
http://www.google.com/goto で始まる URL が Google 検索にインデックスされてしまっているのです。

site:www.google.com/goto で検索すると多くの URL が返されます。

インデックスされているgoto

現在は、/goto? を含む URL を robots.txt で Google はブロックしています。

Disallow: /goto?

インデックスされた goto のリダイレクト URL は徐々に消滅していくでしょう。

し・か・し、そううまくいくとは限りません。

robots.txt はインデックスを防止する仕組みではありません。
クロールを制御する仕組みです。
外部からリンクされているなど、一定の条件では検索結果に表示されることがあります(ただし、スニペットは表示されない)。

robots.txt でのブロックを認識しているにもかかわらず、インデックスされている goto 付き URL です。

以前としてインデックスされるgoto
💬「このページの情報はありません。」というメッセージがスニペットの代わりに表示される。理由を説明するヘルプページへのリンクあり

削除ツールから削除リクエストすることを Google にはオススメします😉