[レベル: 中級]
robots.txt の状態を確認するレポートが Search Console に追加されました。
これにともない、robots.txt テスターはまもなく終了します。
robots.txt レポート
robots.txt レポートには、Search Console の「設定」からアクセスします。
「クロール」セクションに「robots.txt」が加わっています。
「レポートを開く」で表示できます。
robots.txt レポートを利用できるのはトップレベルドメインのプロパティとドメインプロパティです。
サブディレクトリで登録しているプロパティは利用できません。
📝すずき補足：https://www.suzukikenichi.com は利用可能。https://www.suzukikenichi.com/blog は利用不可。
robots.txt のステータス
Googlebot が検出した robots.txt の状態を robots.txt レポートは示します。
ドメインプロパティの場合は、上位 20 個のサイトの robots.txt をレポートします。
📝すずき補足：キャプチャはドメインプロパティの robots.txt レポート
キャプチャでは、すべての robots.txt が正常に取得されていますが、問題がある場合はあエラーが報告されます。
エラーには次のような理由があります。
- 取得できません – 見つかりません（404）
- 見つかりません（404）
- 取得できません – そのほかの理由
ほかには、robots.txt を取得した日時やサイズなども確認できます。
構文エラーがある場合はその理由も提示してくれます。
キャッシュされている robots.txt と再クロールのリクエスト
任意の robots.txt をクリックすると、Googlebot が取得している robots.txt を確認できます。
Googlebot は、robots.txt のキャッシュを保持します。
robots.txt を更新した場合など、最新の robots.txt が取得されていなければ、再クロールをリクエストできます。
タテ 3 点ドットにメニューがあります。
さらに、過去 30 日間のバージョンを見ることもできます。
robots.txt を変更した後、以前はどうだったのかを調べる必要が出てきた時に便利です。
robots.txt のさまざまな情報を入手できる robots.txt レポートは役立つツールになりそうです。
robots.txt レポートの利用方法の詳細はヘルプ記事で参照できます。
📝すずき注：この記事を書いている時点ではヘルプページは日本語化されてない
robots.txt テスターは廃止
robots.txt レポートの提供に伴い、旧 Search Console で提供されていた robots.txt テスターは廃止されます。
12 月 12 日以降は利用できなくなります。
公開する前に robots.txt が想定どおりに機能するかどうかを検証するのに robots.txt テスターは重宝していたのですが、なくなってしまうのは残念です。
robots.txt レポートに移行してほしかったです。