Cloudflare、AIクローラーを「検索・エージェント・学習」で管理する新機能 ― Content Signals拡張と「Pay Per Use」実証実験

Cloudflare AIクローラー の管理が、検索・エージェント・学習の用途別制御へ進化し、コンテンツの実利用に応じて課金するPay Per Useの実証実験も始まりました。

最終更新日: 2026年7月4日

▶ 公式ページ

• Your site, your rules: new AI traffic options for all customers(Cloudflare Blog)
• Making AI search smarter(Cloudflare Blog)

この記事のポイント

• Cloudflareは2026年7月1日、AIトラフィックを「検索・エージェント・学習」の3用途で管理する新機能を全プラン(Freeティア含む)向けに提供開始。
• コンテンツの利用度合いに応じて課金する「Pay Per Use」実証実験を開始。Ceramic.aiとYou.comが参加パートナー(2026年7月時点)。
• 新規ドメインは2026年9月15日発効で、広告掲載ページのエージェント・学習クローラーを既定でブロック。

何が発表されたのか

CloudflareはAPIやCDNを世界規模で提供するインフラ企業で、インターネットの相当な割合のトラフィックを取り扱います。同社は2026年7月1日(自称「Content Independence Day」)、Webサイト運営者がAIクローラーを用途別に管理できる新しいオプションを発表しました。

これまでAIボットの制御は「通す / 弾く」の二択に近く、検索インデックス目的のクローラーと、モデル学習のためにコンテンツを丸ごと吸収するクローラーを区別しにくいという課題がありました。今回の機能は、この曖昧さを用途カテゴリで整理するものです。

3つの用途カテゴリ:検索・エージェント・学習

Cloudflareは、AIトラフィックを次の3つの主要ユースケースに分類し、それぞれ個別に許可・ブロックできるようにしました。公式の定義は以下の通りです。

• 検索(Search):「コンテンツを収集・インデックスし、後でそれについての質問に答えられるようにする挙動」。運営者は参照トラフィックなどの対価を期待できるとされます。
• エージェント(Agent):「人の代理として、多くの場合リアルタイムに、今この場で何かを片付けようと動く自動化された挙動」。チャットのフェッチボットやブラウザ操作エージェントが該当します。
• 学習(Training):「モデルを訓練または微調整するためにコンテンツを取り込むクローラー」。データが基盤モデルの内部に恒久的に取り込まれるケースです。

これらのオプションは、EnterpriseだけでなくFreeティアを含む全プランで利用できます。公式ブログは「Freeティアの顧客を含め、AIボットのトラフィックをより細かく調整できる」と述べています。

Content Signalsとの統合と新しい既定値

今回の制御は、Cloudflareが2025年9月24日に導入した「Content Signals Policy」を土台にしています。Content Signalsはrobots.txtを拡張する仕組みで、search / ai-input / ai-train といったシグナルで「コンテンツをどう使ってよいか」の意思を機械可読な形で表明できます。

今回はこれに、利用の深さを示す任意のuseパラメータが追加されました。値は3段階で、use=immediate(その場で使うが保存しない)、use=reference(インデックス・抜粋・リンクバック=既定)、use=full(要約・再現まで許可)です。

あわせて、既定値も変わります。2026年9月15日以降にCloudflareへ新規オンボードするドメインでは、広告を表示して収益化しているページについて、エージェントと学習のクローラーが既定でブロックされ、検索は既定で許可されます。既存ドメインの設定が勝手に変わるわけではありません。

コンテンツが使われた分だけ課金する「Pay Per Use」

同時に注目されるのが、コンテンツの利用に応じて対価を支払わせる「Pay Per Use」の実証実験です。

Cloudflareは以前から、AIクローラーのアクセスに課金できる「Pay Per Crawl」(プライベートベータ)を提供してきました。これはサイト全体に一律価格(最低1クロールあたり0.01米ドル)を設定し、支払い意思のないクローラーにはHTTP 402(Payment Required)を返す仕組みです。ただしクロール回数を基準にすると、「一度クロールされただけで何千回も引用される」あるいは「何度もクロールされるが一度も使われない」といったズレが生じ、価値の指標として粗いという問題がありました。

Pay Per Useは、この課金基準を「実際にコンテンツが使われた度合い」に近づける試みです。課金単位はクロール回数ではなく、たとえばコンテンツがAIの検索結果や回答に登場した回数(pay-per-query / pay-per-result)を軸とします。参加はサイト運営者側のオプトインが前提です。

参加パートナーとして公表されているのは2社です。Ceramic.aiは「pay-per-query」型で、オプトインした運営者はコンテンツがCeramicの検索結果に登場した際に対価を受け取れます。登録者は、自分のコンテンツが表示されたクエリ・該当ページとスニペット・平均掲載順位などのレポートも閲覧できます。You.comは、エージェントが必要とする特定のプレミアムコンテンツに対し、前払いの約束なしにその都度支払える形を試します。

なお、具体的な価格水準はこの発表では開示されておらず、Cloudflare自身も「まだ学ぶことが多い実験だ」と位置づけています。

編集部の見方

用途別制御とPay Per Useは、AI時代の「コンテンツと対価」の関係を作り替えようとする動きの延長線上にあります。二択のブロックから「検索は歓迎、学習は拒否、使われたら課金」といった細かな設計へ移れる点は、参照トラフィックを失いつつあるパブリッシャーにとって現実的な選択肢を増やします。一方で、Pay Per Useは価格も精算方式も実験段階で、AI企業側が「登場回数」をどう報告・検証するかという透明性が普及の鍵になりそうです。日本のメディア運営者にとっても、robots.txtとContent Signalsの設定は今から確認しておく価値があります。

よくある質問

Q. 既存サイトの設定は自動で変わりますか? A. いいえ。既定変更は2026年9月15日以降に新規オンボードするドメインの広告収益化ページが対象です。既存ドメインは運営者が明示的に設定しない限り変わりません。

Q. Pay Per Useはすぐ使えますか? A. 現時点(2026年7月時点)は実証実験で、Ceramic.aiやYou.comなどのパートナーとオプトインで進める段階です。一般提供や確定価格は公表されていません。

Q. Freeプランでも用途別のブロックはできますか? A. できます。検索・エージェント・学習の3用途による管理は、Freeティアを含む全プランで提供されます。

まとめ

Cloudflareは2026年7月1日、AIトラフィックを「検索・エージェント・学習」で管理する新機能と、Content Signalsのuseパラメータ拡張を全プラン向けに提供開始しました。あわせて、コンテンツが使われた度合いで課金する「Pay Per Use」の実証実験をCeramic.ai・You.comと開始。二択のブロックから、用途と対価をきめ細かく設計する時代への移行を示す一手です。

用語解説

• robots.txt:クローラーに対しアクセス可否の方針を示す、サイト直下の設定ファイル。
• Content Signals:robots.txtを拡張し、コンテンツの利用可否・利用の深さを機械可読に表明するCloudflareの仕組み。
• HTTP 402:「Payment Required(支払いが必要)」を意味するHTTPステータスコード。Pay Per Crawlで支払い意思のないクローラーに返される。

この記事について: AI 支援で執筆、編集部が事実確認・編集しています。誤りや追加情報があれば Contact よりお知らせください。

引用元

• Cloudflare Blog「Your site, your rules: new AI traffic options for all customers」 https://blog.cloudflare.com/content-independence-day-ai-options/
• Cloudflare Blog「Making AI search smarter」 https://blog.cloudflare.com/making-ai-search-smarter/
• Cloudflare Blog「Giving users choice with Cloudflare’s new Content Signals Policy」 https://blog.cloudflare.com/content-signals-policy/
• Cloudflare Blog「Introducing pay per crawl」 https://blog.cloudflare.com/introducing-pay-per-crawl/
• Cloudflare Developers Changelog「New options to manage AI traffic」 https://developers.cloudflare.com/changelog/post/2026-07-01-ai-traffic-options/