インターネットの過半数がボット由来になった今、サイト運営者は「見つけてもらうこと」と「無償で使われること」の板挟みに置かれています。

2026年7月1日、Cloudflareは第2回Content Independence Dayで、AIクローラーをSearch（検索索引）・Agent（エージェント実行）・Training（モデル学習）の3用途に分類し、用途ごとに許可・ブロックを設定できる新オプションと、2026年9月15日から適用する新デフォルトを発表しました。あわせて分析ダッシュボード「Attribution Business Insights」と、クロール課金から利用課金へ進化する「Pay Per Use」も示されています（参考）。

この記事では、発表内容の要点と、サイト運営者・AI企業の双方に関わる実務的な意味を整理します。

この記事でわかること

  • Bot Defaultsの3分類と2026年9月15日からのデフォルト変更
  • Attribution Business Insightsで見えるクロール対紹介比率
  • Pay Per UseがPay Per Crawlとどう違うか
  • 複合用途クローラー（Googlebotなど）への影響

なぜ今、用途別の制御が必要になったか

Cloudflareの発表によれば、現在のWebリクエストの過半数は自動化されたエージェントとボットが占めています。AIは情報検索の新しいインターフェースになりつつあり、従来の「クロールしてくれる代わりに紹介トラフィックが返る」という30年の暗黙の契約が崩れています。

Pew Research Centerの2025年調査では、GoogleがAI要約を表示した場合、従来の検索結果リンクのクリック率は8%にとどまり、要約内リンクのクリックは1%でした。要約が表示されない場合と比べ、従来リンクのクリックは約半分です（参考）。サイト運営者は、AIに見つけてもらうためにコンテンツを開放し、広告やサブスクリプション収益を失う構図に直面しています。

Cloudflareは、AIクローラーのうち主要企業のクロール対紹介比率が118:1から最大約50,000:1に達する例も観測したと報告しています。1回の紹介のために数万回クロールされる状態では、インフラコストだけが膨らみ、ビジネスモデルが成立しません。

Bot Defaults：Search・Agent・Trainingの3分類

https://blog.cloudflare.com/content-independence-day-ai-options/

Cloudflareは、ボットの行動目的に基づく実用的な分類を導入しました。3つのAI関連用途は次のとおりです。

  • Search：コンテンツを収集・索引化し、後から質問に答えるためのデータベースを構築する行動。RAG（Retrieval-Augmented Generation、検索拡張生成）のデータ更新もここに含まれます。
  • Agent：人間に代わってリアルタイムにページを訪問し、タスクを完了する行動。ChatGPT-Userのようなチャット取得ボットや、ブラウザ操作エージェントが該当します。
  • Training：コンテンツを取得し、LLMの学習やファインチューニングに使う行動。データはモデルに恒久的に取り込まれます。

1つのクローラーが複数の用途を兼ねる「複合用途クローラー（mixed-use crawler）」も存在します。Cloudflareは、ボット運営者に用途ごとのクローラー分離を強く推奨しており、分離しない場合は最も制限の厳しいルールが適用されます。公式ブログでは、SearchとTrainingを兼ねるGooglebot、Applebot、BingBotが例として挙げられています。

2026年9月15日から変わるデフォルト設定

新しいデフォルトは2026年9月15日に適用されます。対象は、新規顧客・既存顧客の新規サイト、および9月15日までに設定を変更していない既存の無料プラン顧客です。ダッシュボードからいつでも変更できます。

広告を表示するページでは、デフォルトでSearchは許可、TrainingとAgentはブロックされます。広告は「人間の注目を得て収益化する意図があるページ」のシグナルと位置づけられ、TrainingとAgentを遮断する根拠になっています。

複合用途クローラーで、サイト運営者がSearch・Agent・Trainingを個別に選べない場合、広告ページでは全面ブロックがデフォルトです。Trainingをブロックする設定を選んだ顧客に対しては、Searchも兼ねるGooglebotなどもブロック対象になります。

Cloudflareは今後2か月間、エコシステムへのヒアリングとテストを行い、分類とデフォルトを確定するとしています。CEOのMatthew Prince氏は、複合用途クローラーにSearchとAgent・Trainingの分離を促す意図があると述べています。現状、最大の検索エンジンは主要AI企業の約2倍の情報にアクセスできており、検索で見つけてもらうためにAI学習も許容せざるを得ない構図が続いている、という指摘も出ています。

Attribution Business Insightsで見える数字

https://blog.cloudflare.com/attribution-business-insights/

新ダッシュボード「Attribution Business Insights」は、Cloudflare Bot Managementの顧客向けに提供開始されています。セキュリティ担当だけでなく、ビジネス部門がAIボットの影響を把握するための画面です。

主な指標は次のとおりです。

  • サイト全体のボット対人間トラフィック比率
  • クロール対紹介比率（24時間・7日・30日で表示、ボット運営者別にも確認可能）
  • トップボットの帯域消費量・出身国・現在の許可/ブロック状態
  • Search・Agent・Training別の分類に基づくAIボット内訳

Cloudflareは、発見の主戦場が検索エンジンから回答エンジンへ移る中で、AEO（Answer Engine Optimization、回答エンジン最適化）の重要性を強調しています。AEOは「誰がクロールしたか」だけでなく、「AI回答の中で自社コンテンツがどう引用され、どの程度目立つか」を測る考え方です。過去1年間で出版社とAIプラットフォームの間に50件以上の主要コンテンツライセンス契約が締結されたとも報じられており、交渉の根拠となるデータの可視化が狙いです。

Pay Per CrawlからPay Per Useへ

https://blog.cloudflare.com/making-ai-search-smarter/

2025年の第1回Content Independence Dayで始まったPay Per Crawlは、AI企業がページを取得するたびに出版社へ課金する仕組みでした。しかしクロール回数は価値の指標になりにくい。1回のクロールが数千の回答に引用されることもあれば、何度も再取得されて使われないこともあります。

Pay Per Useは、コンテンツが実際に価値を生んだときに報酬が発生する方向へ進化します。Cloudflareのデータでは、AIクローラーのクロールトラフィックの50%以上が、変更のないページの再取得に費やされているとされています。変更のないページへの不要な再クロールを減らすシグナルも、年内に広く提供予定です。

初期パートナーは2社です。

  • Ceramic.ai：出版社がオプトインすると、CeramicのAI検索結果にコンテンツが表示されるたびに報酬が発生するpay-per-queryモデル。クエリ・引用・ランキングのレポートも返されます。
  • You.com：エージェントが特定のプレミアムコンテンツを必要としたとき、オンデマンドで支払うモデル。

Cloudflareは共通のインフラ層を提供し、各AI企業が自社の課金モデル（Pay per Query、Pay per Resultなど）を持ち込める設計です。現時点では実験段階であり、インターネット規模での成立はこれから検証されます。

サイト運営者が今できること

新しいAIトラフィック管理オプションは、無料プランを含む全顧客のゾーン設定から利用できます。9月15日までに意図しないデフォルト変更を避けたい場合は、ダッシュボードのSecurity設定でTraining・Agent・Searchの許可状態を明示的に保存しておく必要があります。

Enterprise Bot Management顧客は、BotBaseと呼ばれる新しいボットディレクトリも利用できます。Verifiedボットの定義も更新され、「Verified＝常に許可」ではなく、用途カテゴリに応じた許可となりました。robots.txtにはuse=referenceなどのコンテンツ利用レベルシグナルも追加されています。

AI企業側には、クローラーの用途分離と透明な意図表示が、サイト運営者からのアクセス維持の条件になりつつあります。複合用途のまま運用するクローラーは、2026年9月15日以降、広告ページではデフォルトで遮断される見込みです。

エージェント時代のWeb経済の土台を敷く動き

Cloudflareの今回の発表は、防御（ブロック）から攻勢（発見・効率化・収益化）への転換を示しています。ボットの過半数化、クロール対紹介比率の崩壊、不要な再クロールの浪費という3つの課題に対し、用途別制御・可視化・利用ベース課金の3本柱で応えようとしています。

サイト運営者にとっては、9月15日のデフォルト変更を前提に設定を確認し、Attribution Business Insightsで自社のクロール実態を把握することが第一歩です。AI企業にとっては、クローラー分離と公正な補償モデルへの参加が、コンテンツへのアクセスを維持する条件になります。CloudflareはWeb全体の20%以上を経由する立場から、エージェント時代のインターネット経済の共通レイヤーになることを目指しています。