[レベル: 上級]
大手 CDN プラットフォームの Cloudflare は、AI クローラーのアクセスに課金する Pay per crawl（ペイ・パー・クロール）という技術の試験導入を発表しました。
Pay per crawl の概要
現状では、AI クローラーのクロールに対してサイト運営者が取れる手段は次の 2 つに絞られます。
- AI にコンテンツを自由に利用させる
- AI による利用を完全にブロックする
ここに第三の選択肢として、Pay per crawl を加えようというのが Claudflare の狙いです。
Pay per crawl では、AI 企業が運用するクローラーがサイトにアクセスした際に料金を請求し、支払いに同意した場合にクロールを許可します。
支払いへの同意を示さないときは、アクセスを拒否します。
ウェブサイトとクローラーとの間での決済を実行する方法としては、402 Payment Required という HTTP クライアントエラー レスポン スステータスコードが利用されます。402 Payment Required は、要求の実行には料金の支払いが必要であることをクライアント（ウェブサーバー）がクローラーに通知する技術です。
📝すずき補足：402 Payment Required はまだ標準化されていない仕様
決済フロー
サイトと AI クローラー間の決済システムは、Cloudflare が管理するのでサイト側での特別な準備は不要です。
AI クローラーのアクセスに対する挙動としてサイト管理者は次の 3 つから 1 つを選択できます。
- 許可 (Allow) : クローラーにコンテンツへの無料アクセスを許可する
- 課金 (Charge) : 設定されたドメイン全体の価格での支払いを要求する。クローラーが Cloudflare との課金関係を持たない場合でも、パブリッシャーは「課金」を選択できる。これはネットワークレベルのブロック (HTTP 403 Forbiddenレスポンスでコンテンツが返されない) として機能するが、将来の関係の可能性を示す追加の利点がある
- ブロック (Block) : 支払いオプションなしで、アクセスを完全に拒否します。 サイトは、特定のクローラーの料金を免除したり、この機能外でコンテンツパートナーシップを交渉したりすることも可能
また、アクセスに対して支払う料金はサイト側が決定できます。
Pay per crawl の課題
AI クローラーのアクセスに課金する、言い換えると、AI にる学習データとしてのコンテンツ利用に料金を請求するというのは画期的なアイディアです。
しかも、そうした仕組みを自前で準備するのではなく、Cloudflare ユーザーであれば簡単に実装できます。
しかし課題もあります。
AI 企業のクローラーが Pay per crawl (402 Payment Required) をサポートする必要があります。
Google や OpenAI といった主要な AI 企業が Cloudflare の Pay per crawl に参画しているかどうかは不明です。
サイト側で Pay per crawl を有効にしていても、AI クローラーがサポートしていないと意味をなしません。
また、Pay per crawl とは直接関係はないのですが、AI クローラーのクロールを初期設定（新規登録）でブロックするように Cloudflare は仕様を変更しました。
AI の学習に利用されても構わないのに拒否する設定になっている状態にユーザーが気付かなければ、LLM の回答や AI 検索の結果に含まれなくなる可能性があります。
サイト管理者が意図しない事態を招きそうです。
なんにせよ、Pay per crawl が革新的な試みなのは確かなことです。
無条件で学習データに利用されてしまうのではなく、有償でコンテンツを提供するのはサイト側にも利点があります。
AI 企業がサポートするかどうかが鍵になるでしょう。