Googleは、Googleニュース用クローラの導入を発表しました。
GoogleニュースのUser-agentは”Googlebot-News”になります。
Googleニュースの検索結果に出したくないときは、robots.txtのユーザーエージェントに、”Googlebot-News”を指定します。
User-agent: Googlebot-News
Disallow: /
上のように記述すると、Googlebot-Newsのサイト全体へのアクセスを禁止できます。
そもそもGoogleニュースに取り入れられていないサイトには関係のない話ですが、関係するサイト管理者は知っておいてください。
参考までに、GoogleのUser-agentをリストアップします。
- Googlebot: ウェブ検索用ロボット
- Googlebot-Mobile: モバイル検索用ロボット
- Googlebot-Image: 画像検索用ロボット
- Adsbot-Google: Google AdWords用ロボット
- Mediapartners-Google: Google AdSense用ロボット
- Googlebot-News: Google News用ロボット