【2026年9月15日施行】Cloudflareが「AIクローラー」を無料プランで既定ブロック開始｜検索と学習を分離できないボットは広告ページから締め出し・Pay Per Use新設の中身

インターネットの大きな割合を裏側で支えるCloudflareが、2026年9月15日から「AIクローラー」の既定ルールを変更した。
検索用と、AI学習・エージェント利用を兼ねる「mixed-use（混合用途）」クローラーは、広告を掲載するページで自動的にブロックされるようになる。対象は無料プラン利用者や新規顧客が中心だ。

この記事を読むと、何がいつから変わったのか、誰が影響を受けるのか、そしてCloudflareが同時に用意したパブリッシャー向けの新しい収益化の仕組みまでがわかる。

① まず概要：AIクローラーの「既定値」が変わった

2026年7月1日、Cloudflareは公式ブログで新しいAIトラフィック管理の枠組みを発表し、2026年9月15日を施行日とした。骨子は「検索用クローラーは引き続き許可するが、AI学習・エージェント利用と混ざった『mixed-use』クローラーは、広告を掲載するページで既定ブロックにする」というものだ。

これはCloudflareが2025年9月に導入した「Content Signals Policy」（robots.txtでSearch／Agent／Trainingの3用途を個別に意思表示する仕組み）を土台に、何も設定していないサイトの初期値そのものを変えるという一歩踏み込んだ対応になる。

▼ 新方針の基本情報

項目	内容
発表日	2026年7月1日（Cloudflare公式ブログ）
施行日	2026年9月15日
変更内容	広告ページでの既定値を「Training／Agent＝ブロック」「Search＝許可」に変更
対象	新規顧客／既存顧客の新規サイト／全無料プラン顧客
既存の有料顧客	現行設定を維持（変更なし）
土台となる仕組み	Content Signals Policy（robots.txt上のSearch／Agent／Training表示）

② なぜ変えた？「検索を装った学習収集」への対応

背景にあるのは、検索インデックス用と称しながら実際はAI学習やエージェントの回答生成にも同じデータを使う「mixed-use」クローラーが増えていることだ。

広告付きページでは、Training・Agent用クローラーが何も設定しなければブロックされる
純粋な検索インデックス用クローラーは引き続き許可され、検索結果への表示には影響しない
GooglebotやApplebot、Bingbotのように検索と学習を兼ねる複合型クローラーは、学習側の設定が優先され、結果として検索機能ごとブロックされうる

💡 Cloudflareの主張（TechCrunch報道より）

AIクローラーのトラフィックのうち相当量が「内容の変わっていないページの再取得」に費やされており、サイト運営側の負担になっているという。

③ 誰が影響を受ける？対象範囲まとめ

今回の変更が自動的に適用されるのは、主に次の3グループだ。

▼ 対象範囲の詳細

対象	扱い	補足
無料プラン顧客（既存含む）	新既定値が自動適用	設定を変更しなければ学習用クローラーはブロックされる
新規顧客・新規サイト	最初から新既定値	プランに関わらず、これから追加するサイトが対象
既存の有料プラン顧客	現行設定を維持	すでにAIトラフィックの設定を行っている場合は変更されない
オプトアウトを希望する場合	セキュリティ設定から変更可	9月15日より前に管理画面で希望の設定に変更しておく必要がある

④ パブリッシャー向けの新しい収益化「Pay Per Use」

ブロックするだけでなく、CloudflareはAI企業がコンテンツを使う対価をパブリッシャーに払う仕組みも同時に拡充している。これまでの「Pay Per Crawl」（クロールされるたびに課金）に加え、「Pay Per Use」という新しい枠組みを用意した。

Pay Per Useは、単にページが取得された回数ではなく、そのコンテンツが実際にAIの回答の中で使われた場合に課金するという考え方だ。初期の提携先としてCeramic.aiとYou.comの名前が挙がっている。

▼ Pay Per Crawl と Pay Per Use の違い

仕組み	課金のタイミング	位置づけ
Pay Per Crawl	AIボットがページを取得（クロール）するたび	先行して提供されていた仕組み
Pay Per Use	コンテンツが実際にAIの回答・生成結果に使われた時	2026年に新設・拡充
従来の無断クロール	課金なし	9月15日以降、広告ページでは既定ブロックの対象に

※ 各社の対応・提携条件は発表時点のもの。変更される可能性があります。

⑤ まとめ：ネットの「無断学習」に歯止めをかける動き

この記事のまとめ

Cloudflareが2026年9月15日、AIクローラーの既定ルールを変更（7月1日発表）
広告ページでは検索と学習を混合するmixed-useクローラーが既定ブロックに、純粋な検索用は引き続き許可
対象は無料プラン顧客・新規顧客・新規サイト。既存有料顧客の設定は維持される
Googlebot等の複合型クローラーも、学習用途があれば検索機能ごとブロックされうる
ブロックと並行して、実際にAIの回答に使われた分だけ課金する「Pay Per Use」という収益化の仕組みも新設

検索エンジンからAIエージェントへとネットの入口が移り変わる中で、「誰のコンテンツを、どう使わせるか」を巡るルール作りはこれからも続きそうだ。自分のブログやサイトを運営している場合は、Cloudflareの管理画面で現在の設定を一度確認しておくとよい。