GoogleのAIチーム⇒検索結果のクリックデータをランキングに使っている、検索チーム⇒使っていない。どちらを信じる?

[レベル: 中級]

Google Brain(グーグル ブレイン)といって、AI を専門に研究・開発する部署が Google にはあります。
Google Brain 部署のトップが「検索結果のクリックのデータをランキングに使っている」と受け取ることができるような発言を、カナダのトロントで先日開かれたイベントでしたようです。

ですが、検索結果のクリック数やクリック率、また検索結果への直帰などのクリックのデータをランキングには直接反映させていないと Google の検索部門の社員はいくどとなく説明しています。

Google Brain の人の発言の真相はどうなのでしょうか?

実験の検証には使っているが、ランキングには使ってない

Search Engine Roundtable の Barry Schwartz(バリー・シュワルツ)氏が検索結果のクリックデータを Google は本当に使っているのかどうかを英語版のオフィスアワーで、John Mueller(ジョン・ミューラー)氏に問いただしました。

ミューラー氏の回答は次のとおりです。

Google Brain の人たちがその場で具体的にどんなことを言ったのかは私にはわからない。ただ、彼らの立場における発言だったのではないかと思う。

しかし一般論として、アルゴリズム評価のための情報としてそういったクリックのデータを確かに私たちは使っている。以前から言ってきたとおりだ。

検索結果と検索順位に関して、常に私たちは本当に実験している。実験に対してユーザーがどんなふうに反応するかを調べることが実験をやる方法の一部だ。

私が知る限りでは、(ランキングを直接決めるためには)クリックのデータを私たちは使っていない。

ユーザー行動を検索品質改善には使うがランキング決定には使わない

ミューラー氏の発言は今までのものと一貫しています。

検索アルゴリズムの品質を検証するためには、クリックのデータを Google は確かに使います。
新しいアルゴリズムを採用した検索結果と従来のアルゴリズムのままの検索結果を並べて、クリックやページ内での行動の違いを比較することもあれば、一般の検索ユーザーのなかから被験者に選んだユーザーの行動データを取得することもあります。

これらはあくまでも、検索結果の全体的な品質を検証するためのものです。
検索結果に出てきた個々のページのランキングを上げたり下げたりすることを目的にはしていません。

上位ページのクリック率が低かったり直帰率が高かったりすれば、検索品質に問題があると考えられます。
その検索結果を作り出したアルゴリズムには改善の余地があるということになりますね。

クリック率が低く直帰率が高かった1位のページの順位をすぐさま下げようという結論に至ったりはしないのです。

そもそも Google Brain の人の発言は、クリックデータをランキングを“直接的に”決めるために使っているというふうには僕には聞こえませんでした(録音はこちらで聴けます)。

「検索結果を作るために現在は AI を使っていて、そのトレーニングモデルとして、クリックしたかやそのページにとどまったかや、いつ検索結果に戻ったかとかのデータを使うこともある」くらいのことしか言っていないように思えます。
検索結果への直帰をランキングアルゴリズムに組み込んでいると明確に発言しているようには解釈できません。

Google がユーザー行動をランキングに反映させているかどうかは今特に注目のトピックです。

いずれにしても、「検索結果のクリックデータを含めユーザー行動を直接ランキングを決めるためには使っていない」というのが Google の公式な見解です。