リンクがまったく張られていないページをどうやってGooglbotはクロール・インデックスするんだい? 自分のサイトでどこからもリンクしていないのに毎日2、3ページがインデックスされるんだ。しかもそのページは検索結果として作られたページなんだ。

こんな疑問にGoogleのMatt Cutts(マット・カッツ)氏が回答しました。

Matt Cutts氏はGooglebotが新しいページを発見する仕組みを2つ解説しています。

まず1つ目は、ページ発見の基本となる「リンクを介しての発見」です。

自分ではリンクしていなくても、気付かないうちにリンクされていることが往々にして見られます。
サイト管理者が認識していなくても、Googleが認識しているリンクがあるかもしれません。
前にも説明したように、Googleのlink:は一部のバックリンクしか表示しませんでしたね。
本人が気づいてないとしても、Googleが気づいているリンクが存在することがあります。

リンクをたどってGooglebotは新しいページを見つけます。

ところが、質問者のケースではこの1つ目のパターンには当てはまらないようなのです。

ポイントは「検索結果ページ」インデックスされているという点です。
※原文に忠実にいうと「検索フィールドから生成されたページ」

検索結果ページがどこか別のページからリンクされているということは、通常考えられませんよね。
誰かが検索結果のURLを貼る可能性はありますが、質問者のように毎日毎日数ページがインデックスされる状況では当てはまらなそうです。

原因はGooglebotが検索を実行したからです。

今Googlebotは簡単なフォームなら送信を実行して先のページを見ることができるようになっているのです。
アメリカの50州を選択するドロップダウンリストだけだったりとか、入力するフィールドが2,3個くらいしかなければ、フォーム送信を試みるそうです。

ただ複雑なフォームの入力はできないし、たとえばクレジットカードの入力もできません。

でも単純なフォームであれば、その先を見ることが可能なときもあるそうです。

質問者のケースでは、Googlebotが検索を実行してその結果ページをインデックスしていると考えられます。

たまにGoogleのSERPで別のサイトの検索結果ページを見かけることがあります。
誰かが検索結果のURLをどこかに張り付けたか、そのサイトが検索結果をキャッシュとして保存してサイト内のどこかにリンクを表示させているからだろうと推測していたのですが、ひょっとしたらGooglebotが検索してその結果をインデックスしていたのかもしれません。

サイト内検索の結果ページが検索エンジンのSERPに出ないようにするには、robots.txtで検索結果ページをブロックしておけばいいですね。

「おけばいい」というよりい、「おくべき」です。

検索結果ページをインデックスさせても意味がないことが多いでしょう。
検索エンジンの検索結果にサイト内検索の結果ページが表示されてもユーザーも困ります。

話がちょっとそれましたが、Googlebotはリンク以外にもフォーム送信でその先に存在するページを発見することがあるということがこのエントリで伝えたかったことです。

【P.S.】
このエントリは1日前に予約投稿されたものです。

このエントリーが役に立ったらシェアしてください

[Ads & Featured Articles]

次のエントリも読むとSEOにさらに強くなります。

海外SEO情報ブログTOPGoogle SEO › Googlebotはフォーム送信してまで新しいページを発見する

Comments

  1. By java on

    お疲れ様です

    >単純なフォームであれば、その先を見ることが可能なときもある
    との事ですが、それはメソッド、POSTであっても可能なときもあるのでしょうか?

    自分の中で理屈はハッキリしていませんが
    GETはクロールできる場合があって(実際にクロールしている痕跡を見た事がある)
    POSTはクロールできないというのが定石だったんですが。。

    まぁ、クロールされるのが嫌だったらrobots.txtで拒否すればいいんですけどねw

    気になったので投稿しました。

    *** Reply from Suzuki Kenichi ***
    ビデオのなかではそこまで触れていないので分からないです。

    クロールされたくなかったら、おっしゃるとおりrobots.txtを使ってください。

  2. By on

    うちの運営サイトの中でも検索結果ページがインデックスされているサイトがチラホラとあるんですが、今まで「あ、検索結果ページがインデックスされてるじゃん。」くらいにしか思ってなかったので、特に気にもしてなかったです(笑)

    ん〜、なるほど。そういうことだったんですね。
    確かに、通常なら検索結果ページのインデックスのされようがないですもんね。

    何気にうちで運営しているマンモスサイトは、ロングテールのキーワードで検索結果ページがアクセスを拾ってくれているので、検索結果ページが閲覧開始ページとなる検索ユーザー向けに検索結果ページの最適化を行なった方が良い気がしてきました。今回の記事でちょっと視野が広がった気がします^^

    どうも♪

    *** Reply from Suzuki Kenichi ***
    サイト内検索でインデックスされたページで検索からアクセスがあるのは得した気分ですね。(笑)
    LPOができるようならしたほうがよさそうです。

▲ページの一番上に戻る