何でも見るグーグル – HTMLフォームのクローリング開始

GoogleのCorporate Information会社情報)は、次の一文から始まります。

Google’s mission is to organize the world’s information and make it universally accessible and useful.

Google の使命は、世界中の情報を整理し、世界中の人々がアクセスできて使えるようにすることです。

『何でも見るグーグル – HTMLフォームのクローリング開始』の続きを読む

グーグル ウェブマスターツールにrobots.txt作成機能が追加

Google ウェブマスターツールにrobots.txtを作成する機能が追加されました。

Google Webmaster Central Blogでも公式にアナウンスされています。

google webmaster tools robots.txt生成

robot.txtとは、検索エンジンのロボット、いわゆるスパイダーもしくはクローラーと呼ばれるプログラムのアクセスを、サイト単位・ディレクトリ単位・ファイル単位で、拒否(許可)するためのテキストファイルです。
※スパイダーとクローラは、厳密には異なるプログラムのようです。
検索エンジンの5つのプログラム – スパイダーとクローラって別物?
スパイダーとクローラが別物なわけ

アクセスをブロックする必要がなければ、robots.txtは特に必要ありません。
ウェブマスターツールでは、「すべてのロボットを許可」という指定でrobots.txtを作成できますが、すべてのロボットを許可(Allow)するなら、不要です。

『グーグル ウェブマスターツールにrobots.txt作成機能が追加』の続きを読む

Googleによくある質問 – FAQs for Crawling, Indexing, and Ranking

Googleにウェブマスターからよく寄せられる質問に対する回答が、Google GroupsGoogle Webmaster Helpに掲載されています。

つい最近更新されたので、解説します。

クローリング、インデックス、ランキングのFAQになります。

『Googleによくある質問 – FAQs for Crawling, Indexing, and Ranking』の続きを読む

Slurp、ヤフーのクローラが来ない

Slurpとは、Yahoo!のクローラですが、そのSlurpのサイト訪問の頻度が極端に落ちていると、DigitalPoint Forumsで、数日前から多数報告されています。

ただ現在は、解消されたようです。

何かのアップデートの予兆では?との推測もありました。

『Slurp、ヤフーのクローラが来ない』の続きを読む

クローラのインデックスを促進する方法

せっかくページをたくさん作成しても、サーチエンジンのクローラに効率よくクローリングしてもらってインデックスさせないと、検索結果ページには表示されません。

インデックスされていないページは、「存在しないに等しい」といってもいいくらいです。

そこで、今日はクローラにインデックスを促す基本的な方法について説明します。

『クローラのインデックスを促進する方法』の続きを読む

Google,Yahoo!,MSNに質問してみました

San Jose(サンノゼ)で開催されている、SES(Search Engine Strategies 2007、サーチエンジン ストラテジー 2007)は、大いに盛り上がっています。

23日には、Google(グーグル)Yahoo! Search(ヤフー! サーチ)MicrosoftMSN)、Ask.comという4大サーチエンジンの社員がパネリストとして、プレゼンテーションしました。

そして、Q&Aの時間が設けられ、聴衆の「上位ランキング」「確実なインデックス」といった質問に関して、回答しました。

『Google,Yahoo!,MSNに質問してみました』の続きを読む

Yahoo!(ヤフー)インデックス更新-2007年8月

Yahoo!のインデックスの更新が、Yahoo! Search Blogで公式アナウンスされました。

前回のヤフーのインデックス更新の発表は、7/19なので、ちょうど1ヶ月ぶりとなります。

今回のヤフーのインデックスは、大規模な変更だったようです。

we’ve been rolling out fresh updates to our crawl, index and ranking systems — ones that are relatively significant for webmasters.

『Yahoo!(ヤフー)インデックス更新-2007年8月』の続きを読む

Googleには2種類のクローラが存在

Google(グーグル)には2つのタイプのクローラ(Crawler)が存在します。

1つは「Fresh Bot(フレッシュ・ボット)」、
もう1つは「Deep Crawl Bot(ディープ・クロール・ボット)」と呼ばれます。

「Fresh Bot」は、頻繁に更新されるページを数日おきに訪問してインデックスします。
対して、「Deep Crawl Bot」は、だいたい1ヶ月に1度すべてのページを訪問してインデックス(しなおし)します。

イメージ図

『Googleには2種類のクローラが存在』の続きを読む