[対象: 中〜上級]
Googleウェブマスターツールの「クロールエラー」レポートをGoogleは大きく改良しました。
レポートするデータ項目が変わり、視覚的にも見やすくなりました。
サイト エラー
「サイトエラー」セクションでは、サイト全体に影響を及ぼす、つまりGooglebotがサイトにまったくアクセスできないクロールエラーがレポートされます。
以下の3項目について起こった問題が含まれます。
- DNS（による名前解決ができない）
- サーバー接続（ができない）
- robots.txtの取得（に失敗した）
過去90日間の状況がグラフ表示されます。
問題が最近発生していないときは緑のチェックマークが表示されます。
90日間のエラーが対象になるのはこの後に説明するレポートも同様です。
URL エラー
「URLエラー」セクションは、URL単位のクロールエラーです。
Googlebotが特定のURLをクロールしようとしたときに発生したエラーを表示します。
エラーの種類は複数あり、キャプチャに写っている項目以外のものがあるかもしれません。
ソフト404は、ページが存在しないことをユーザーには伝えるものの200のHTTPステータスコードを返す不適切に構成されたページのことです。
「見つかりませんでした」は、404エラーまたは410エラーを返すページです。
現状、Googleは404と410を区別せず同等に扱います。
「その他」には不正リクエストを表す400エラーやアクセス拒否を示す403エラーなどそのほかのエラーがレポートされます。
携帯電話(CHTML/XHTML)とGoogleニュースに向けたページを提供しているときは、それぞれのページで発生したエラーを分けてレポートします。
クロールエラーの詳細
レポートに出ているクロールエラーが検出されたURLをクリックすると詳細を知ることができます。
どんなエラーなのかやXMLサイトマップに含まれているか、どこからリンクされているかが分かります。
リンク元ページが自分が管理するサイトに存在するならすぐに直しましょう。
外部サイトで管理者にコンタクトが可能なら修正を依頼します。
コンタクトができないけれど、価値のあるページからなら301リダイレクトで適切なページにリダイレクトするとPageRankを受け取ることができますね。
エラーを修正できていてもう問題が発生していないときは「修正済みとする」ボタンをクリックするとレポートから消すことができます。
ただしエラーが解消したことをGoogleが受け入れたわけではなくレポートから非表示になるだけです。
Googlebotがエラーを再び検出したら再度現れます。
この画面から「Featch as Googlebot」にダイレクトにアクセスできるので、「修正済みとする」を押す前にチェックするといいでしょう。
取得データ数を1,000件に縮小
閲覧・ダウンロードできるデータの数が1,000件に減りました。
1,000件を超えるエラーがあった場合数字は表示されますが具体的なURLとエラー内容の詳細を知ることはできません。
数が多すぎるのもよくないだろうという判断のもとの変更です。
Googleが早急に対応したほうがいいと考える「優先度」順にデフォルトで1,000件のエラーは並んでいます。
通常のサイト管理者には1,000件もあれば十分でしょうが、大規模サイトや独自のツールでクロールエラーを調査しているサイトではこの縮小は改善ではなく改悪に映るです。
Google在籍時にウェブマスターツールの開発の中心人物だったVanessa Fox(ヴァネッサ・フォックス)さんは、自分が作った機能を消したことに対してかなり怒っています。
すべてのデータをAPIで取得できるようにするかもしれないとのことなので、全データが必要なときはGoogleにフィードバックを送ってください。
またrobots.txtでブロックされているURLをレポートしなくなりました。
大抵の場合、意図してrobots.txtでブロックしているはずだからエラーレポートは不要だろうとの判断からです。
ただこれにも不平が出ています。
大規模サイトで徹底的にクロールエラーを調査するのでなければ、今回のGoogleウェブマスターツールのクロールエラーレポートの改善はありがたい変更に僕には思えます。
以前よりもずっと見やすく分かりやすくなったと感じます。
あなたはどうですか？
【UPDATE】管理画面で取得できなくなったデータ、たとえば1,000件以上のデータやrobots.txtでブロックされたURLのデータはAPI経由で取得可能です。
Google Webmaster Tools Crawl Errors: How To Get Detailed Data From the API