外部流出したGoogle内部文書を解析-その1

Google検索結果の品質をチェックする人間の評価者のために作られたと思われる、非公開の内部マニュアルが外部に漏れました

▼「EWOQ」という、評価者が検索結果を評価するのに使うツールのスクリーンショット
EWOQ Google検索結果評価ツール

今日と(たぶん)明日の2回に分けて、その中身を分析してみます。

まずは、検索結果を評価する基準項目についてです。

Googleは、「Query Type(検索の種類)」を3つに分類しています。

  1. Navigational
  2. Informational
  3. Transactional

Navigationalは、「案内型」ということで、特定のウェブページを探す検索です。
代表的なのは、公式サイトのウェブページを見つけるための検索です。

たとえば、IBMのオフィシャルホームページを探すために「ibm」を検索したり、
Yahoo!のメールにログオンするために、「ヤフーメール」で検索する場合が、Navigationalに相当します。
※例の1つめはマニュアルに実際あったもの、2つめは僕が考えたものです(この後も)

Informationalは、「情報提供型」ということで、文字どおり情報収集のための検索です。
テキストだけでなく、画像やビデオも含めて、何かに関する情報が欲しいときに使う検索になります。

たとえば、津波について知りたいアメリカ人が「tsunami」を検索する場合や、映画の情報を得たい人が「映画 ランキング」を検索する場合です。

Transactionalは、「売買・取引型」ということで、有料もしくは無料で商品やサービスを入手するための検索です。

検索結果経由で訪問したページで、“情報”ではなく、有形無形にかかわらず何らかの“モノ”を得る欲求があります。
購入・ダウンロード・動画鑑賞などが相当します。
たとえば、「Beatles poster」の検索、「アドビリーダー ダウンロード」の検索です。

Query Typeは、1つではなく複数に分類されるケースもあります。

たとえば、「United Nations」の検索です。
国連のオフィシャルページを探す「Navigational」の場合もあれば、国連に関する最新のニュースを知るための「Informational」の場合もあります。

「ipod nano」の検索は、公式ページを探す「Navigational」、評価や機能を調べる「Informational」、オンライン購入する「Transactional」の3つすべてに該当し得るでしょう。
※上の2例は、どちらもマニュアルにあったものです。

評価者は検索のタイプを識別したうえで、検索結果が妥当かどうかチェックします。

「Rating Scale」と書かれている評価尺度は、5段階あります。

  1. Vital
  2. Useful
  3. Relevant
  4. Not Relevant
  5. Off-Topic

Vitalは重要度が高いと認められる評価です。
「Vital」は日本語に訳しづらいんですが、「生命の維持に関する」という意味があります。このマニュアルでは、「決定的な」とか「そのもの」というニュアンスになります。

Vitalは、「Navigational」検索の結果に与えられる場合が多い評価です。

Navigationalは、オフィシャルサイトを探す検索でしたよね。
「yahoo」を検索して、Yahoo!のオフィシャルページが検索結果に現れれば、それは「Vital」として評価できます。
「トヨタ ノア」と検索して、トヨタ自動車公式サイト内のノアという車の個別ページが出てくれば、「Vital」となります。

一方で、Vitalを与えることがない検索もあります

たとえば、「ipod reviews」です。
これは、ipodの評価を調べる「Informational」検索で、公式サイトは存在しません。

Usefulは、役に立つ満足のいく検索結果に対しての評価です。
広すぎず狭すぎず包括的で、質が高く、信頼性があります。

「broadway tickets」で、ブロードウェイで上映されるミュージカルのチケット販売のサイトが表示されれば、Usefulが与えられます。
「糖尿病」で、糖尿病についての解説が書かれたウィキペディアのページもUsefulとなるでしょう。

Relevantは、関連性は認められるものの「Usuful」よりは質の劣る結果です。
信頼性に乏しかったり、求めている情報の一部しか手に入らない場合です。

「laser printer」で検索して、「HPのレーザープリンター、LaserJet 2840」の通販サイトが結果表示されたり、「プラズマテレビ」で検索して「パナソニックのビエラ」のページが結果表示される場合です。

Not Relevantは、関連性に薄く、役に立たない検索結果への評価です。情報が古かったり、狭すぎたり逆に広すぎる場合です。
信頼性にも乏しく、他のサイトへのリンクだけが貼ってある場合もあります。

「japan」の検索結果で表示される「Japan Patent Office(日本特許庁)」のサイトや、「日本」で検索した「日本大学」のサイトです。

Off-Topicは、的外れ見当違いの検索結果です。
「hot dog」で検索して、「doghouse」について書かれたページが返されるのが例です。
「食べ物」を調べてるのに、「犬小屋」が出てきてます。(笑)

5つのRating Scaleに分類できない検索結果は、「Non-Rating」として位置づけられます。
ページが表示できない時や、外国語のページが結果表示される時です。

第1部の解説は、ここまでです。

上位表示を狙うサイトを作るときは、まずターゲットにしているキーワードが、どの「Query Type」になるのかを把握しておかなければなりませんね。

たいていの場合は、「Informational」か「Transactional」、あるいはその両方でしょう。
このときは、「Useful」に評価付けされるようなコンテンツに仕上げることが大切ですね。

具体例を調べていて気付いたのは、「Informational」検索の結果は実にWikipediaが強いということです。ほとんど1位でした。
情報を知りたかったら、GoogleじゃなくてWikipediaで直接調べればいいんじゃないの?、と感じたくらいです。

「Navigational」に分類される会社名や商品・サービス名をターゲットにした場合、公式ページよりも上に来るのはGoogle的には問題アリのようです。
しかし、これは検索者からしてみたら当然といえば当然です。

しかし、一見「Navigational」に見える検索でも、「Informational」か「Transactional」を目的とした検索もあるでしょう。
こういうのは、実はおいしいキーワードかもしれませんね。w

もしあなたがGoogleの検索結果評価者だったとしたら、検索結果に表示される自分のサイトのキーワードのどのタイプに分類するか、そしてコンテンツをどのレイティングで評価するか想像してみてください。

新たな発見があるかもしれませんよ。

明日は、「Webspam Guidelines」として、Googleがどんなサイトをウェブスパムとして判断しているのかについて指示しているセクションを、解説します。