[対象: 上級]
結論から言うとできません。
Googlebotは、URLにアクセスするときにリファラー (Referrer) を渡さないからです。
過去に犯してしまった自作リンクが取り除けなかったり身に覚えのないスパムリンクをどうにもできなかったりするときに、そのURLからのGooglebotのアクセスを弾いたり別URLにリダイレクトしたりすることで被リンクとして認識させないようにしてネガティブなリンク評価を無効化できるのではないかという名案をブログ読者のMJさんがコメントしてくれました。
一見するとナイスなアイディアなのですが残念ながら、リファラーでGooglebotを制御するのはWebmasterWorldの関連スレッドを見ると無理なようです。
Googlebotを含め検索エンジンのクローラは「リンクをたどる」とはいうものの僕たち人間のユーザーのように文字どおりページにあるリンクを通してその先のページに直接行くわけではないからです。
大雑把に言うと、たぶんこんな感じになっているんだと推測します。
- あるページをクローラしそのページにあるリンクの情報を取得する。
- リンク先のURLリストを作成し、そのリストに従ってそれぞれのURLに向かって新たにクロールを開始する。
仕組みはどうであれ、とにかくGooglebotはリファラーを渡しません。
渡さないというより持っていないといったほうが正確でしょうか。
アクセスログを見ればリファラー情報がないので明らかです。
リファラーがないのにリファラーで制御することは無理な話ですね。
リファラーを渡すようにしてはどうかと日本版の公式ヘルプフォーラムでも要望が出ていますが、仕組み的あるいは別の問題が発生するなどそう簡単なものではないんじゃないかと想像します。
リンク無効化ツールの提供が始まるのを待つしかなさそうです。