2026年9月15日、Cloudflare が AI 向けクローラの既定（デフォルト）を更新します。

「AI ボットを全部止める／全部通す」ではなく、振る舞いごとに分ける、という整理です。公式ブログは Your site, your rules: new AI traffic options for all customers、ドキュメントは Block AI Bots です。期限が近いので、何が変わるのか／小サイト側で何を見ればよいのかを短くまとめます。

先に結論

いちばん危ないのは、「学習を止めたい」つもりでスイッチを入れた結果、検索クローラまで止まってしまうことです。

Cloudflare は AI 交通をざっくり次の3つに分けています。

  • Search … あとで答えられるように、サイトを集めて索引する
  • Agent … いまこの場で人の代わりに動く（チャット経由の取得やブラウザ操作エージェントなど）
  • Training … モデルの学習・微調整のために中身を取る

9月15日以降の新しい既定では、新規に Cloudflare へ載せるドメインなどで、広告が出るページ向けに Training と Agent を止め、Search は通す、という方向になります。加えて、Search と Training を兼ねる混在クローラは、いちばん厳しいルールに従う、と明言されています。ここが本題です。

何が変わるのか

公式の骨格は、だいたい次のとおりです。

  1. 分類が細かくなった

Free プランでも、Search / Agent / Training を別々に「全ページで止める／広告ページだけ止める／止めない」を選べる。

  1. 9月15日の新しい既定

新規ドメイン向けに、広告ページでは Training・Agent をブロック、Search は許可、が既定になる。 （広告は「人が見てほしい／収益の面」という合図、という説明です。）

  1. 混在クローラは厳しい側に倒す

Search と Training を兼ねるボットは、Training を止める設定が入っていると止まる。公式例として Googlebot / Applebot / BingBot が挙がっています。レガシーの「Block AI bots」経由でも同様、とのこと。

  1. オプトアウトは 9月15日より前にできる

Security 設定で希望を明示しておけば、新しい既定に流されない、という案内です。

レガシーの一枚岩「Block AI bots」は 9月15日で非推奨側に寄っていく、という位置づけです。これから触るなら、三分類の新しい画面（Security Settings → Configure AI bot policies）を見たほうがよさそうです。

なぜ「Googlebot まで」が論点になるのか

多くの人にとって、AI 学習を止めたい気持ちと、検索に載り続けたい気持ちは両立します。問題は、現実の大手クローラが「検索専用」と「学習専用」にきれいに分かれていないことがある、という点です。

Cloudflare 側の立場ははっきりしていて、「複数の目的を持つなら、複数のクローラに分けて透明にしてほしい」という方向です。分けられていない混在クローラは、サイト側が Training を止めた時点で、いちばん厳しい解釈になる。結果として、学習ブロックのスイッチが、検索クローラのブロックにもなる——公式がそう書いている以上、ダッシュボードで確認せずに済む話ではありません。

広告のない小サイトでも、「混在クローラ」の扱いは広告の有無と独立、という解説も出ています。広告ページ向けの新しい既定だけ見て安心、は早いです。

ぼくの。側で見ていること

ぼくの。 やサブドメインのアプリは Cloudflare Workers 上で動かしています。広告は出していません。それでも、次はチェックリストに入れています。

  • Security の AI bot 設定が、意図どおりか（特に Training）
  • 「学習は嫌・検索は要る」なら、混在クローラを止めていないか／オプトアウトが必要か
  • robots.txt や llms.txt の意思表示と、ダッシュボード上のブロックが矛盾していないか
  • クローラ向けに見せたい面（トップ・記事・アプリ LP）と、見せたくない面（共有 URL など）を分けているか

小さなサイトほど、「全部止める」は気持ちが楽で、「検索だけ通す」は設定の確認が要る、という非対称があります。9月15日は、その確認日、くらいに捉えています。

おわりに

AI ボット対策は、もう「止める／止めない」の一本勝負ではなくなりつつあります。Cloudflare の今回の更新は、Search・Agent・Training を分けたうえで、混在クローラを厳しい側に倒すことで、サイト側に明示的な選択を迫る形です。

期限は 2026年9月15日。一次情報は Cloudflare の公式ブログとドキュメント、変更ログの New options to manage AI traffic です。分類や対象ボットは更新されうるので、設定を変える前にダッシュボードの表示もあわせて確認してください。

関連記事: AI が脆弱性を見つけて、直すまでの時間はエッジで稼ぐ——Cloudflare × OpenAI Daybreak