Googlebot がクロールするファイルサイズの 2MB 上限の仕組みについて検索セントラルブログで Gary Illyes 氏が解説した。

Googlebot がクロールするファイルのサイズ上限がドキュメントで明確化された。これまでは、「最初の 15MB まで」をクロールすると Google は説明していた。これを、「最初の 2MB まで」に改めた。

Google 検索リレーションズチームによるポッドキャストシリーズの『Search Off the Record』のエピソード 92 では、ウェブクローラーの歴史、設計、そして未来がトピックになった。

Googleが公式解説した「クロール バジェット」に関する2つの追加情報。新規サイトのクロール速度の決定方法と全URLのサイトマップは優先付けに役立たないという事実が判明。

GoogleのCorporate Information（会社情報）は、次の一文から始まります。 Google’s mission is to organize the world’s information and…

Google ウェブマスターツールにrobots.txtを作成する機能が追加されました。 Google Webmaster Central Blogでも公式にアナウンスされています。 robot.txtとは、検索エンジンのロボット、いわゆる…

Googleにウェブマスターからよく寄せられる質問に対する回答が、Google GroupsのGoogle Webmaster Helpに掲載されています。 つい最近更新されたので、解説します。 クローリング、インデックス、ランキングのFA…

Slurpとは、Yahoo!のクローラですが、そのSlurpのサイト訪問の頻度が極端に落ちていると、DigitalPoint Forumsで、数日前から多数報告されています。 ただ現在は、解消されたようです。 何かのアップデートの予兆では？…

せっかくページをたくさん作成しても、サーチエンジンのクローラに効率よくクローリングしてもらってインデックスさせないと、検索結果ページには表示されません。 インデックスされていないページは、「存在しないに等しい」といってもいいくらいです。 そ…

San Jose（サンノゼ）で開催されている、SES（Search Engine Strategies 2007、サーチエンジン ストラテジー 2007）は、大いに盛り上がっています。 23日には、Google（グーグル）、Yahoo! S…