[レベル: 上級]
クローラーについて解説する技術ドキュメントに、Googlebot がサポートする Content Encoding(コンテンツエンコーディング)の種類を Google は追加しました。
Content Encoding は、データ圧縮アルゴリズムです。
ウェブサイト(ウェブサーバー)が配信するリソース(HTML や CSS、画像など)を圧縮することでネットワークトラフィックを削減し、ウェブページの表示高速化に役立ちます。
Googlebot がサポートする圧縮アルゴリズム
ドキュメントに次の説明が追加されました。
Google’s crawlers and fetchers support the following content encodings (compressions): gzip, deflate, and Brotli (br). The content encodings supported by each Google user agent is advertised in the
Accept-Encoding
header of each request they make. For example,Accept-Encoding: gzip, deflate, br
.
日本語ドキュメントは、この記事を書いている時点では未更新なので、こちらは僕による訳です。
Google のクローラーとフェッチャーは、gzip、deflate、Brotli (br) といったコンテンツエンコーディング(圧縮)に対応しています。各Googleユーザーエージェントがサポートするコンテンツエンコーディングは、リクエストごとに送信される
Accept-Encoding
ヘッダーで通知されます。たとえば、Accept-Encoding: gzip, deflate, br
のようになります。
Googlebot がサポートする Accept Encoding は次の 3 種類です。
gzip
deflate
Brotli
Googlebot がサポートする Accept Encoding のなかでは、Brotli
が最も高い圧縮率を実現します。
Googlebot がサポートする圧縮方式(と HTTP ヘッダーの見方)については、検索セントラルのブログで解説記事が出ていました。
しかし、技術ドキュメントには記載がなかったので今回追加されました。
とはいえ、2008 年 3 月に公開された古い記事で、現在はサポートしている Brotli への言及はありません。
自分のサイトの圧縮アルゴリズムを調べる
せっかくなので、自分のサイトがどの圧縮アルゴリズムでリソースを配信しているを調べてみましょう。
Chrome のデベロッパーツールの「Newtwork(ネットワーク)」タブで調べられます。
Request ヘッダーの Accept-Encoding
を見ます。
僕のサイトでは次の 4 種類の圧縮方式をサポートしていることがわかります。
gzip
deflate
br
zstd
br
は Brotli
です。zstd
は Zstandard
という圧縮アリゴリズムで、圧縮・展開が速いことを特徴とします。
Facebook が開発しました(ちなみに、Brotli
は Google が開発した)。
Zstandard (zstd)
を 現時点では Googlebot はサポートしていないようです。
Googlebot は、サポートしている圧縮方式のなかで最も圧縮率が高いアルゴリズムでリソースを取得します。
ここでは Brotli (br)
です。
Googlebot が Brotli (br)
でリソース取得していることは URL 検査ツールで確認できます。
ライブテストした後、「テスト済みのページを表示」→「その他の情報」→「HTTP レスポンス」と進みます。
見るべきヘッダーを拡大します。
Content-Encoding: br
というレスポンスが Brotli
でサーバーが配信し Googlebot が取得していることを表します。
自分のサイトの圧縮アルゴリズムを調べる方法を説明しましたが、面倒くさいという方はこちらのツールを利用してください。
サイトの URL を入力して検証します。
「Brotli Is Enabled」と表示されれば、Brotli
で配信されています(サードパーティツールなので、Googlebot が Brotli でリソース取得している保証はないけど、まず大丈夫でしょう)。
僕のブログのトップページでは、Brotli
によってサイズが約 80% が圧縮されているそうです。
どの圧縮方式で配信できるかはサーバーの環境によるのでここでは説明できませんが、まずは調べてみましょう。
#SEO #Googlebot #Brotli