何が起きたか:AI学習ボットのブロックが検索ボットにも及んだという報告
原文は、CloudflareでAI学習ボットをブロックすると正規のGooglebotとBingbotによるインデックス処理までブロックされているという報告があるとして、これを逸話的な報告(anecdotal report)と位置づけています。Cloudflareは最近、これが9月から起きるようになると発表している。単発の不具合なのかユーザー側の設定ミスなのかは不明だが、控えている変更を認識し、設定を調整しておくべきだという注意喚起にはなる――というのが記事の立て付けです。
報告したのは、Redditのr/SEOコミュニティに投稿した利用者です。新しいAI Crawlers & Scrapers機能をテストしていて予期しないことに気づいた、として次のように書いています。
「When I set AI Training = Block, both Googlebot and Bingbot start receiving HTTP 403 responses when trying to fetch my sitemap.(AI Training = Blockに設定すると、GooglebotとBingbotの両方が、私のサイトマップを取得しようとする際にHTTP 403のレスポンスを受け取るようになる)」。続けて、AI Trainingのブロックを解除した途端、サイトマップには再びアクセスできるようになる、とも書かれています。
投稿者は、Cloudflareが現在GooglebotとBingbotを「Search + Training」のボットとして分類しているため、学習ブロックを有効にするとそれらにも影響が及ぶように見える、と自身の理解を添えています。そのうえで、検索エンジンのためにAI学習を許可するか、AI学習をブロックしてGoogle/Bingが403を受け取るリスクを負うかの二者択一だとして、きれいな回避策(clean workaround)はないかと問いかけています。
John Mueller氏はDMを要請、なりすまし説には投稿者が反論
この投稿に対して、GoogleのJohn Mueller氏が反応し、詳しく見るためにダイレクトメッセージ(DM)を送るよう求めた、と原文は伝えています。記事の範囲では、Google側からの見解や原因の説明はそれ以上示されていません。
別の利用者からは、ブロックされているのはGooglebotのユーザーエージェントを偽装した不正なボットではないか、という指摘が出ました。投稿者は、偽のGooglebotがブロックされることは理解しているとしたうえで、自分が言及しているのはCloudflare自身がダッシュボードに表示している内容だと反論しています。
さらに投稿者は、Bot Fight Modeを有効にするとサイトマップのアップロードが403エラーを返し、無効にした途端に403が消えるとも述べています。加えて、AI CrawlersのセクションでGooglebotとBingbotが自動的にブロックされていると表示されているとして、Bot Fight Modeが正規のクローラーを妨げているのか、ダッシュボードが別の何かを報告しているのかを疑っている、と結んでいます。
最初の投稿では「AI Training = Block」が引き金として挙げられていましたが、追加の説明ではBot Fight Modeの有効・無効が403と連動したと述べられています。どちらが原因なのかは投稿者自身も判断しかねており、原文もそれ以上の特定はしていません。
Cloudflareの公式アナウンス:9月15日から混在型クローラーもブロック対象
原文は、Cloudflareの公式アナウンスとして、9月15日から混在用途のボット(mixed-usage bots)、つまりGooglebotのように検索のためのインデックス処理とAI学習用のデータ収集を同時に行うボットのブロックを開始すると伝えています。その結果、CloudflareはGooglebotをブロックすることになる、という説明です。
引用されているアナウンスの原文は次のとおりです。「On September 15, 2026, Cloudflare will set updated defaults for new domains: bots classified as Training or as Agent will be blocked on pages that display ads, and Search will remain allowed.(2026年9月15日に、Cloudflareは新規ドメイン向けに更新された既定値を設定する。TrainingまたはAgentに分類されたボットは、広告を表示するページでブロックされ、Searchは許可されたままとなる)」
今回の報告と直結するのが次の一文です。「SearchとTrainingを兼ねる混在目的のクローラーは、レガシーの『Block AI bots』オプションを含む、AI学習をブロックするすべての設定によってもブロックされる」。そして「9月15日より前であれば、すべての顧客がこれらの新しい既定値をオプトアウトできる」と締められています。
既定値の更新は新規ドメインが対象と書かれている一方、混在目的クローラーのブロックは「AI学習をブロックするすべての設定」によって起きるとされています。対象の広さが異なる記述であり、原文にそれ以上の補足はありません。
確定していること、確定していないこと
原文が最後に置いているのは時期についての疑問です。この種のブロックは9月に発効することになっているのだから、それが今まさに起きていると報告されているのは奇妙だ(curious)、という指摘で記事は終わっています。
確定しているのは、Cloudflareが2026年9月15日付の変更を公表していること、混在目的クローラーの扱いが引用のとおり記述されていること、そしてその日より前ならオプトアウトできると明記されていることです。一方、確定していないのは次の点です。
- 報告された403が単発の不具合なのか、ユーザー側の設定ミスなのか(原文が「不明」としている点)
- 引き金がAI Training = Blockなのか、Bot Fight Modeなのか(投稿者自身が判断できていない)
- ダッシュボードの表示が、実際の遮断を正確に反映しているのか
- 同じ事象が他のサイトでも起きているのか(他の再現報告は示されていない)
- Googleとしての公式見解(John Mueller氏がDMを求めた事実のみ)
実務への影響:AI学習の拒否と検索インデックスが同じスイッチに乗る
この件が実務に効いてくるのは、「AIに学習させたくない」という判断と「検索エンジンに正しくクロール・インデックスしてもらう」という前提が、Cloudflareの設定上ひとつのスイッチに集約されうる点です。引用された文言では、混在目的のクローラーはAI学習をブロックするすべての設定によってブロックされるとされています。AI学習を止める目的で入れた設定が、検索側の取得にも及ぶ形になります。
報告で問題になっているのがサイトマップの取得だという点も見どころです。ここで403が返る状態が続けば、検索エンジンはその経路から新しいURLや更新を受け取れなくなります。ただし原文は、実際にインデックスからページが消えたといった観測を示していないため、影響の程度を報告の範囲を超えて断定するのは避けるべきところです。
既定値の更新に「広告を表示するページ」という条件が入っている点も、広告を掲載しているメディアには無関係ではありません。ただし対象は新規ドメインと明記されており、既存ドメインの扱いは引用の範囲では判断できません。またSearch、Training、Agent、混在目的という区分がある以上、自社がどれを許可しどれを拒否したいのかを先に言語化しておく必要があります。
今日からできる確認手順
原文とCloudflareのアナウンスの範囲で、手を動かせる順に整理します。
- Cloudflareを使っているかを最初に確定させる。使っていなければ当てはまりません。
- ダッシュボードのAI Crawlersのセクションで、GooglebotとBingbotがブロック扱いになっていないかを見る。投稿者は、ここで両者が自動的にブロックされていると表示されていたと述べています。
- AI学習をブロックする系統の設定が有効になっていないかを確認する。原文に具体名が出てくるのは、AI Crawlers & Scrapers機能の「AI Training = Block」とレガシーの「Block AI bots」オプションです。
- Bot Fight Modeの有効・無効を切り替えて、サイトマップのレスポンスが変わるかを見る。投稿者が実際に行ったのがこの切り分けです。
- サイトマップのURLに実際に返っているステータスコードを確認する。報告で問題になっているのはHTTP 403です。
- 2026年9月15日を予定に入れ、オプトアウトの要否を判断する。引用されたアナウンスでは、その日より前であればすべての顧客が新しい既定値をオプトアウトできるとされています。
※以下は運営者による一般的な実務上の補足です。切り分けは設定を1つずつ変え、そのつどサイトマップのレスポンスを記録する形が確実です。最終的な確認はCloudflareの公式情報とご自身の環境で行ってください。
所感
ここからは記事本文にはない、運営者の見解です。今回は一件の逸話的な報告であり、原因も未特定です。これを根拠に「CloudflareでAI学習をブロックすると検索から消える」と読むのは行き過ぎだとみています。まず自社環境で再現するかを確かめることが先です。
そのうえで、実務者が受け取るべき情報ははっきりしています。2026年9月15日という日付と、混在目的のクローラーがAI学習をブロックするすべての設定でブロック対象になるという記述です。ここは報告の真偽とは独立に、Cloudflare自身が公表している内容として引用されています。CloudflareでAI学習のブロックを入れているサイトは、その日付までに自社の設定がどの分類に効いているのかを確認しておく価値があります。
もう一点、この件は「ボットの分類が誰の手にあるか」を可視化したとも考えています。あるクローラーをSearchと見るのか、Trainingと見るのか、その両方と見るのかを決めるのは分類する側です。分類が変われば、設定を変えていないサイトでも挙動が変わりうることになります。選択を迫られる前に自社の設定状態を把握しておくことが、今の時点で最も費用対効果の高い準備です。
まとめ
・Search Engine JournalのRoger Montti氏が、CloudflareでAI学習ボットをブロックすると正規のGooglebotとBingbotのインデックス処理まで妨げられているという逸話的な報告(anecdotal report)を伝えた
・Redditのr/SEOへの投稿では、「AI Training = Block」にするとGooglebotとBingbotがサイトマップ取得時にHTTP 403を受け取り、解除すると再びアクセスできるようになったとされている。投稿者はCloudflareが両者を「Search + Training」に分類していることが理由ではないかと述べている
・GoogleのJohn Mueller氏は詳しく確認するためDMを求めた。なりすましボット説に対して投稿者はダッシュボードの表示について述べていると反論し、Bot Fight Modeでも403が連動したと補足している
・Cloudflareのアナウンスとして、2026年9月15日に新規ドメイン向けの既定値を更新すること、混在目的のクローラーはレガシーの「Block AI bots」を含むAI学習ブロックのすべての設定でブロックされること、その日より前ならオプトアウトできることが引用されている
・原文は、この事象が単発の不具合なのか設定ミスなのかは不明とし、9月に発効するはずの挙動が今起きていると報告されているのは奇妙だ(curious)と述べている
よくある質問
Q1: CloudflareでAI学習をブロックすると、必ずGooglebotが403になるのですか?
原文はこれを逸話的な報告(anecdotal report)として扱い、単発の不具合(fluke)なのかユーザー側の設定ミス(user error)なのかは不明だと明記しています。報告した利用者は、AI Training = Blockにすると両ボットがサイトマップ取得時にHTTP 403を受け取り、ブロックを解除すると再びアクセスできるようになったと述べていますが、他のサイトでの再現報告は原文に示されておらず、すべての利用者に共通する挙動だとは言えない段階です。
Q2: 2026年9月15日から具体的に何が変わると公表されていますか?
Cloudflareのアナウンスとして引用されているのは、2026年9月15日に新規ドメイン向けの既定値を更新し、TrainingまたはAgentに分類されたボットは広告を表示するページでブロックされ、Searchは許可されたままとなる、という内容です。加えて、SearchとTrainingを兼ねる混在目的のクローラーは、レガシーの「Block AI bots」オプションを含む、AI学習をブロックするすべての設定によってブロックされるとされています。9月15日より前であれば、すべての顧客がこの新しい既定値をオプトアウトできると書かれています。
Q3: Googleはこの件について公式見解を出しましたか?
原文の範囲では、GoogleのJohn Mueller氏が投稿に反応し、詳しく確認するためにダイレクトメッセージ(DM)を送るよう求めたという記述だけです。Googleとしての公式な見解や原因の特定、対応方針は示されていません。なりすましボット説に対しては、投稿者がCloudflare自身のダッシュボード表示について述べていると反論しています。
出典:Report That Cloudflare AI Bot Blocking Prevents Googlebot From Indexing Sites(Search Engine Journal、Roger Montti氏)https://www.searchenginejournal.com/report-that-cloudflare-ai-bot-blocking-prevents-googlebot-from-indexing-sites/584673/
無料ダウンロード資料
はじめてのSEO 完全ガイド
Web担当になった人が、90日で自走するための実務書
検索エンジンの仕組みから、キーワード選定・記事づくり・技術対応・効果測定、 そしてAI検索時代の打ち手まで。専門用語の知識ゼロの状態から読み始められるよう、用語はすべて本文中で説明しています。
| 体裁 | PDF／A4縦・全109ページ |
|---|---|
| 収録 | 図解21点、チェックリスト120項目、90日実行プラン、用語集56語 |
※フォーム送信後、ご入力のメールアドレス宛にダウンロードリンクをお送りいたします。
こちらのフォームにご記入ください
入力は1分ほどで終わります。
