何が変わったのか
Cloudflareは2024年7月から提供してきた「AIクローラー一括ブロック」の単一スイッチを、より細かい制御に置き換えました。サイト運営者は今後、ボットを「Search（検索インデックス）」「Training（AI学習用データ収集）」「Agent（ChatGPTなどユーザー代理の実行系ボット）」の3カテゴリに分けて可否を選べます。無料プランを含む全顧客が対象です。
2026年9月15日からは、広告を掲載しているページでTrainingとAgentのボットがデフォルトでブロックされます。広告=人間の訪問者を前提としたビジネスモデル、という前提に立った既定値の変更です。Searchクローラーはこれまで通り通します。GooglebotのようにSearchとTrainingを兼ねるボットは、より厳しいルールが適用されます。
なぜ重要か
背景には、ボットトラフィックが人間のトラフィックを初めて上回ったという転換点があります。CEOのMatthew Princeは2026年6月、当初は2027年後半と予測していたこの逆転が前倒しで発生したと述べました。「AIが読みに来る前提のウェブ」への構造転換が、当初想定より早く到来したことを意味します。
もう一つの論点は「Verified（検証済み）」ラベルの意味の再定義です。従来は検証済みボットは自動で通過しましたが、今後はカテゴリ次第で扱いが変わります。ボット運営側には「自分が何者で、何のためにクロールするか」の明示と誠実性が求められるようになります。
エンタープライズ向けBotBase
大企業顧客向けには、既知ボットを検索できるデータベース「BotBase」をダッシュボード内に統合します。各ボットの分類と、コンテンツをリンク参照するだけか、全文複製するかまで可視化されます。Princeが以前からGoogleの「検索と学習の抱き合わせ」を批判してきた文脈が、そのまま製品仕様に反映された形です。
💼 事業会社視点：これは自社にどう効くか
日本企業の経営者・事業責任者にとって、これは「AI流入をどう収益に接続するか」を意思決定する猶予期間の始まりです。
メディア・EC・BtoBオウンドメディアを運営する事業会社は、2026年9月15日を境に「広告ページ=AI学習/エージェント既定ブロック」という新常態に自動的に組み込まれます。広告収益で成立しているメディア事業では、この既定値は基本的に守るべきですが、ChatGPTなどのAgent経由の送客をどう扱うかは経営判断が必要です。ブランド認知・指名検索の入口として意図的に開放する選択肢もあります。
SaaS・受託開発など「ドキュメントで顧客に見つけてもらう」立場の企業は逆で、Training/Agentを積極的に許可すべき局面が増えます。技術ドキュメントがLLMに学習・引用されることが将来のリード源になるためです。
実務としては、(1) 自社ドメイン内で「広告ページ／製品情報／ドキュメント／マイページ」を用途別にセグメント化し、カテゴリごとに方針を設定、(2) BotBaseで自社への主要ボットの挙動（リンクか全文複製か）を確認、(3) 法務・広報とAI引用時の表記ルールを合意しておく——この3点は9月までに詰めておく価値があります。