[レベル：全員]
Googleの検索結果の品質を評価するための評価ガイドラインの最新版と思われるファイルが先日外部に漏れました。
あなたは見つけることができましたか？
このガイドラインは検索結果がどのくらい妥当なものかを判断するための方法を説明したマニュアルで、Googleが雇った外部の評価者のために作られています。
検索結果の評価方法は、あるクエリに対しての検索結果を評価者に見せて次の5段階で評価させます。
- vital（不可欠）
- useful（有用）
- relevant（関連性あり）
- slightly relevant（わずかに関連性あり）
- off topic（関係なし）
さらに、スパムと判断できるページに対しては「Spam」のマークを付けます（スパムの判断方法もガイドラインのなかで説明している）。
品質評価者の評価は検索結果にすぐさま反映されるのでしょうか？
多数の評価者に「Spam」マークを付けられたページは検索結果から排除されるのでしょうか？
答えは“No”のようです。
GoogleのMatt Cutts(マット・カッツ)氏による一連のツイートです。
品質評価ガイドラインを発見したことを最初に暴露した記事のコメントでも詳しく説明しています。
今年のPubConで前日に開催されたネットワーキングパーティでもこの件について話したそうです。
Matt Cutts氏が率いるウェブスパムチームと評価チーム・検索品質者評価者は完全に独立しているとのことです（スパム判断にはそれ専用の評価者とトレーニング用のドキュメントがあるらしい）。
品質評価者による評価はフィードバックされますが、適切な検索結果でなかったり、複数の評価者によってスパム判断されたページがあったりしても直接手動で変更は加えません。
スケーラブルでないからですね。
Googleの特徴として、すべてをコンピュータで自動処理するという大原則があります。
人間の手で個別にスパムを排除したとしても別のスパムが存在するわけで全体への拡張性に欠けます。
※このビデオで語られている。
人間の評価者のフィードバックを素にして、アルゴリズムの改良に役立てるのです。
そして人間の手を介さなくともコンピュータが自動で処理できるようになっていくというわけです。
評価ガイドラインを読んでいない人にとってはピンとこない話だったかもしれません。
評価者による評価をどのように利用するのかについてのビデオを作るともMatt Cutts氏は言っています。
どんな話をしてくれるのか期待して待ちましょう。
P.S.
品質評価ガイドラインには何かものすごいことが書いてあるわけではないのですが、Googleがどういったことを基準にして検索結果を提供しようとしているかが、たとえ一部であったとしても知ることができます。
手に入った人はハードディスクに大切に保存しておくのではなく、ぜひ一読してください。
たとえば“Do-Know-Go”あたりはキーワードを考える時にとても参考になるはずです。