何でも見るグーグル – HTMLフォームのクローリング開始
2008年04月14日
GoogleのCorporate Information（会社情報）は、次の一文から始まります。
Google’s mission is to organize the world’s information and make it universally accessible and useful.
Google の使命は、世界中の情報を整理し、世界中の人々がアクセスできて使えるようにすることです。
グーグル ウェブマスターツールにrobots.txt作成機能が追加
2008年03月31日
Google ウェブマスターツールにrobots.txtを作成する機能が追加されました。
Google Webmaster Central Blogでも公式にアナウンスされています。
robot.txtとは、検索エンジンのロボット、いわゆるスパイダーもしくはクローラーと呼ばれるプログラムのアクセスを、サイト単位・ディレクトリ単位・ファイル単位で、拒否（許可）するためのテキストファイルです。
※スパイダーとクローラは、厳密には異なるプログラムのようです。
●検索エンジンの５つのプログラム – スパイダーとクローラって別物？
●スパイダーとクローラが別物なわけ
アクセスをブロックする必要がなければ、robots.txtは特に必要ありません。
ウェブマスターツールでは、「すべてのロボットを許可」という指定でrobots.txtを作成できますが、すべてのロボットを許可（Allow）するなら、不要です。
Googleによくある質問 – FAQs for Crawling, Indexing, and Ranking
2007年11月19日
Googleにウェブマスターからよく寄せられる質問に対する回答が、Google GroupsのGoogle Webmaster Helpに掲載されています。
つい最近更新されたので、解説します。
クローリング、インデックス、ランキングのFAQになります。
『Googleによくある質問 – FAQs for Crawling, Indexing, and Ranking』の続きを読む
Slurp、ヤフーのクローラが来ない
2007年10月22日
Slurpとは、Yahoo!のクローラですが、そのSlurpのサイト訪問の頻度が極端に落ちていると、DigitalPoint Forumsで、数日前から多数報告されています。
ただ現在は、解消されたようです。
何かのアップデートの予兆では？との推測もありました。
クローラのインデックスを促進する方法
2007年10月16日
せっかくページをたくさん作成しても、サーチエンジンのクローラに効率よくクローリングしてもらってインデックスさせないと、検索結果ページには表示されません。
インデックスされていないページは、「存在しないに等しい」といってもいいくらいです。
そこで、今日はクローラにインデックスを促す基本的な方法について説明します。
Google,Yahoo!,MSNに質問してみました
2007年08月25日
San Jose（サンノゼ）で開催されている、SES（Search Engine Strategies 2007、サーチエンジン ストラテジー 2007）は、大いに盛り上がっています。
23日には、Google（グーグル）、Yahoo! Search（ヤフー！ サーチ）、Microsoft（MSN）、Ask.comという４大サーチエンジンの社員がパネリストとして、プレゼンテーションしました。
そして、Q&Aの時間が設けられ、聴衆の「上位ランキング」「確実なインデックス」といった質問に関して、回答しました。
Yahoo!（ヤフー）インデックス更新-2007年8月
2007年08月23日
Yahoo!のインデックスの更新が、Yahoo! Search Blogで公式アナウンスされました。
前回のヤフーのインデックス更新の発表は、7/19なので、ちょうど１ヶ月ぶりとなります。
今回のヤフーのインデックスは、大規模な変更だったようです。
we’ve been rolling out fresh updates to our crawl, index and ranking systems — ones that are relatively significant for webmasters.
Googleには２種類のクローラが存在
2007年07月27日
Google（グーグル）には２つのタイプのクローラ（Crawler）が存在します。
１つは「Fresh Bot（フレッシュ・ボット）」、
もう１つは「Deep Crawl Bot（ディープ・クロール・ボット）」と呼ばれます。
「Fresh Bot」は、頻繁に更新されるページを数日おきに訪問してインデックスします。
対して、「Deep Crawl Bot」は、だいたい１ヶ月に１度すべてのページを訪問してインデックス（しなおし）します。
⇒ イメージ図
