TIME誌、ユーザーにはHTML、AIクローラーにはMarkdownを配信

by 

[レベル: 上級]

米国のニュース誌「TIME」が、人間のユーザーと AI クローラーに対して、異なるバージョンのウェブページを配信していることを Vincent Schmalbach（ヴィンセント・シュマールバッハ）氏が発見しました。

User-Agent に応じて HTML と Markdown を出し分け

アクセス元の User-Agent を判定し、配信するコンテンツを TIME は切り替えています。

人間のユーザーや Googlebot には、画像や JavaScript、レイアウトを含む約 303 KB の HTML ページを配信します。
一方、ClaudeBot、PerplexityBot、OAI-SearchBot など一部の AI ボットには、約 13 KB の軽量な Markdown データを返しています。
同じ URL でありながら、User-Agent に応じてコンテンツの形式や内容を切り替えているのです。

AI クローラー向けのページには、HTML のレイアウトや画像、スクリプトは含まれず、言語モデルが処理しやすいテキスト中心の構成になっています。

AI クローラーごとにアクセス方針を変更

すべての AI クローラーを TIME は一律に扱っているわけではありません。

OAI-SearchBot には Markdown を配信します。
しかし、GPTBot と ChatGPT-User には 406 エラーを返してアクセスを拒否しています。
💬<code>406 エラー (406 Not Acceptable) は、クライアント（ブラウザやアプリなど）が要求したデータ形式や言語などの条件に、サーバーが一致するデータを返せないことを示す HTTP ステータスコード

つまり、検索インデックスへの掲載を目的とするボットは受け入れながら、学習やリアルタイム取得に利用される一部のボットはブロックするなど、ボット単位で制御しているらしいのです。

AI 向けコンテンツにはスポンサー情報を埋め込み

AI クローラー向けの Markdown には、人間向けの HTML ページには存在しないスポンサーコンテンツ（広告情報）が含まれています。

シュマールバッハ氏が確認した例では、Ally Bank の FAQ や Project Management Institute の企業情報、マーケティング上の主張などが、スポンサー情報として Markdown に追加されていました。
これらの情報は、人間が閲覧するページからは確認できなかったとのことです。

FAQ 形式のコンテンツは、ユーザーが AI に質問する際の表現に近く、AI の回答内でスポンサー企業の情報が参照されやすくなることを意図している可能性がある、とシュマールバッハは推測しています。

Mobian がトークン単位で広告接触を計測

AI 向け Markdown のレスポンスヘッダーには、広告テクノロジー企業 Mobian に関連する情報が含まれています。

主なヘッダーは次のとおりです。

x-mobian-impression
x-mobian-tokens
x-mobian-format
cache-control: no-store

x-mobian-impression にはリクエストごとに異なる ID が付与されます。
そして、cache-control: no-store によってキャッシュの利用も抑制されています。

これは、AI クローラーがページを取得するたびに、個別の広告インプレッションとして記録される仕組みと考えられます。

また、x-mobian-tokens には AI に読み込まれるトークン数が記録されています。
従来のページビューやユーザー数ではなく、AI モデルに供給されたトークン数を基準に広告接触を測定している点が特徴です。

AI クローラー向けの Markdown 配信を Google は否定

Google は、2026 年 5 月に「検索の生成 AI 機能の最適化に関する新しいガイダンス」を公開しています。
この中で、マークダウンは Google 検索では無視されることを明記しています。

LLMS.txt ファイルやその他の「特別な」マークアップ: Google 検索（生成 AI 機能を含む）で表示されるようにするために、新たにコンピュータが解読可能なファイルや AI テキスト ファイル、マークアップ、マークダウンを作成する必要はありません。Google 検索自体がそれらを使用しないためです。Google は、ウェブサイト上の HTML に加えてさまざまな種類のファイルを検出、クロール、インデックス登録することがあることにご注意ください。これはそのファイルが特別な方法で扱われることを意味するものではありません。

また、Search Off the Record ポッドキャストのエピソード 111 では、Markdown が不要な理由について詳細に説明しています。

  • 検索エンジンや AI のクローラーは、数十年にわたって HTML を処理するように構築されている。そのため、現時点で「 AI のために Markdown に変換する」必要性はない。
  • ウェブサイトの構造（ヘッダー、フッター、サイドバーなど）は、サイト全体の文脈を理解するために非常に重要である。 Markdown に変換してこれらを削ってしまうと、検索エンジンによる検出や発見の質が下がるリスクがある。
  • ユーザー向けの HTML 版と AI 向けの Markdown 版など、複数のバージョンを維持することは管理上の負担を増やし、更新の同期漏れやエラーの温床となる。

開発者向けドキュメントなど、元々 Markdown でソースが管理されていて、そこから HTML を生成している場合には理にかなっているとしながらも、SEO やコンテンツの発見性を考慮する場合、通常の HTML ウェブサイトこそが最善の基盤であり、それを維持することを Google は推奨しています。

ChatGPT や Claude に関しては、OpenAI と Anthropic が Markdown でのウェブページ配信について公式に言及したことはないはずです（ないよね？）。

少なくとも Google 検索に関しては、Markdown 形式での配信が実質的に意味のあるものとは思えません。
ChatGPT や Claude ではひょっとしたらという可能性も完全には否定できませんが、効果があるという話も聞いたことがないので（ないよね？）、まぁ、好きにすればというのが僕の意見です。

なお、TIME は AI クローラーにもしっかり広告（らしき要素）を配信していました。
AI クローラーのアクセスであっても広告収益を得る仕組みも実装しているのは「したたか」ですね。