robots.txtの書き方（保存版） へのコメント http://www.suzukikenichi.com/blog/how-to-create-robotstxt/ 海外のSEO情報を毎日投稿するSEOブログ。Google, Yahoo!, BingのSEOから、AdSense, AdWordsまでを網羅。「ヤフー!カテゴリ」登録サイト。by 【海外SEO】鈴木謙一 Tue, 16 Mar 2010 09:55:43 +0000 http://wordpress.org/?v=2.9.2 hourly 1 Rのseo対策 よりhttp://www.suzukikenichi.com/blog/how-to-create-robotstxt/comment-page-1/#comment-31175 Rのseo対策 Sat, 26 Apr 2008 08:17:22 +0000 http://www.suzukikenichi.com/blog/?p=395#comment-31175 こんにちは。非常にまとまった記事ですね。http://web.archive.org/　にクロールされないように 自分個人のサイトは robots.txt で拒否してたりします　笑CSSをクロールさせないとかもグレーですよね・・・。*** Reply form Suzuki Kenichi ***Wayback Machineに、記録を残したくないんですね。ロリポップのブログは自動的にrobots.txtが作成されていて、Baiduのクローラを拒否しています。 なぜ？ こんにちは。非常にまとまった記事ですね。

http://web.archive.org/　にクロールされないように
自分個人のサイトは robots.txt で拒否してたりします　笑

CSSをクロールさせないとかもグレーですよね・・・。

*** Reply form Suzuki Kenichi ***

Wayback Machineに、記録を残したくないんですね。

ロリポップのブログは自動的にrobots.txtが作成されていて、Baiduのクローラを拒否しています。
なぜ？

]]>