何が起きたか:最も多く拒否され、同時に最も多く到達しているボット
Search Engine Journalの記事は冒頭で、ChatGPTのページ取得ボットが同種のAIボットの中で最も多くのサイトから disallow を指定されている一方、disallow されたページに到達したサイト数でも他のどのボットより多かったと報じています。対策の実効性という観点では、最も具合の悪い組み合わせです。
記事は、その理由の一端がOpenAI自身の公開ドキュメントにあると指摘します。サイト側から見ると、書いた disallow が「守られなかった」のではなく「そもそも適用対象外だと相手側が解釈している」という構図です。
TollBitの実測値:欧州で約15%、ChatGPT-Userはほぼ半数のサイトで到達
記事によれば、レポートで扱われた欧州のサイトにおいて、識別されたAIのページ取得ボット(page-fetchers)の約15%が、サイト側が disallow と指定していたURLに到達していました。この15%の分母は「サイト」ではなく「識別された取得ボット」である点に注意が必要です。
さらに記事は、この現象が一部のエージェントに集中していると説明しています。具体例が ChatGPT-User、Bytespider、Youbot の3つで、それぞれを明示的に列挙していた欧州サイトのうち、ほぼ半数で disallow ページへのアクセスが確認されたとされています。この3つの中では ChatGPT-User が最も多くのサイトに到達したと報じられています。
ただしTollBitは計測側の事業者で、記事によれば同社は「disallow されたURLへのリクエストは、運営者が何を主張しているかにかかわらず、すべてバイパスとして扱う」基準を採っています。この15%は違反率ではなく到達の観測値であり、後述するOpenAI側の主張とは食い違う部分です。
ブロック率はエージェントごとに大差――新しいものほど「そもそも書かれていない」
記事が示すもう一つの角度が、そもそもサイト側が各エージェントを robots.txt に書いているかという記載率の差です。新しめの取得エージェントの多くは、ほとんどブロックされていないと報じられています。
| エージェント | 欧州サイトの disallow 率 | 北米サイトの disallow 率 |
|---|---|---|
| Claude-User | 9% | 26% |
| Perplexity-User | 13% | 26% |
記事は、最新のエージェントの多くは欧州の disallow 率が一桁台にとどまる中で、ChatGPT-User だけが例外的に突出していると説明しています。バイパスの議論は、サイトが該当エージェントを robots.txt に列挙して初めて計測できるものです。記載率が一桁台のエージェントは、バイパス以前に意思表示すらしていない状態が大半だということになります。
OpenAIの説明と、割れる事業者の立場
記事が根拠として挙げているOpenAIのクローラードキュメント(platform.openai.com/docs/bots)を直接確認したところ、ChatGPT-User は ChatGPT および Custom GPTs における特定のユーザーアクションに使われ、自動的な方法でウェブをクロールするためには使われない、との記述がありました。そして「これらのアクションはユーザーによって開始されるため、robots.txt のルールが適用されない場合がある(“Because these actions are initiated by a user, robots.txt rules may not apply.”)」と続きます。同ドキュメントには、ChatGPT-User は検索(Search)への表示可否の判断には使われず、検索のオプトアウトと自動クロールの管理には OAI-SearchBot を使うよう案内する記述もあります。
この立場はOpenAI固有のものではありません。記事によれば、Perplexityは同じ理由から Perplexity-User が一般に robots.txt を無視すると述べているとされ、一方でAnthropicは3つのボットすべてが尊重すると表明していると伝えられています(記事はこれを2月に自社で報じた内容として言及)。単一のプロトコルに対し「ユーザー起点なら対象外」「一般に無視する」「すべて尊重する」の3通りが並存しており、同じ1行の disallow が相手によって意味を変えてしまいます。
記事は末尾で、この抜け穴が残るかは未解決の問いであり、それは「ページを要求すること」と「クローラーがページを取っていくこと」は違うという主張の上に成り立っている、そして今や主要なアシスタントはいずれもこの方法でページを取得している――と指摘しています。
見落とされがちな論点:OAI-SearchBotまで止めると「可視性だけ」を失う
今回の記事で最も実務に効くのは、バイパス率よりもブロック対象の選び方に関する指摘です。サイトが ChatGPT の検索結果に表示されるかを決めているのは OAI-SearchBot であって ChatGPT-User ではない。AIトラフィックを防ぐつもりで両方をブロックしたサイトは、可視性(visibility)の側を手放したうえで、例外規定を抱えた取得制御だけを手元に残したことになる――と記事は整理しています。
OpenAIのドキュメント側でも各エージェントの設定は互いに独立で、OAI-SearchBot を許可しつつ GPTBot を disallow して学習利用を拒む、といった組み合わせが可能だと説明されています。公開中の4エージェントの役割は次のとおりです。
| エージェント | ドキュメント上の役割 |
|---|---|
| OAI-SearchBot | 検索用。ChatGPTの検索機能でサイトを表示する。オプトアウトしたサイトは検索回答に表示されない(ナビゲーショナルリンクとしては表示されうる)。 |
| GPTBot | 生成AI基盤モデルの学習に利用されうるコンテンツのクロール用。disallowは学習に使うべきでないという意思表示。 |
| ChatGPT-User | ChatGPTおよびCustom GPTsでのユーザーアクション用。自動的なクロールには使われず、ユーザー起点のためrobots.txtが適用されない場合がある。検索への表示可否の判断には使われない。 |
| OAI-AdsBot | ChatGPT上の広告として提出されたページの安全性検証用。提出されたページのみ訪問し、収集データは基盤モデルの学習には使われない。 |
9月15日からのCloudflare既定変更――判断がネットワーク層へ移る
記事は今後の動きとして、Cloudflareがクローラー制御の管理方法を更新し、判断をネットワーク層へ移そうとしていると伝えています。同社が認識しているボットについては、遵守するかどうかがクローラー自身に委ねられなくなります。
挙げられているタイムラインは9月15日で、同日以降にCloudflareへ新規追加されるドメインでは、広告が掲載されているページで Training(学習)および Agent(エージェント)のクローラーが既定でブロックされ、Search(検索)クローラーは許可されたままになる、と報じられています。robots.txt が「お願い」であるのに対し、ネットワーク層での遮断は相手の解釈に依存しません。なお本稿執筆時点で記事以外の一次ソースは確認できていないため、適用条件は今後の公式アナウンスで確認する必要があります。
今日からできる確認手順:robots.txtではなくログで確かめる
記事の中で最も実務的なのは、サーバーログやCDNの記録は実際に何が到着したかを示すが、robots.txt が示すのは自分が何をお願いしたかだけだ、という指摘です。まず自社の robots.txt にAIエージェントが具体名で列挙されているかを棚卸しし、次にログでUA文字列による実アクセスを集計します。
OpenAIの場合、ChatGPT-User は「ChatGPT-User/1.0」、OAI-SearchBot は「OAI-SearchBot/1.4」、GPTBot は「GPTBot/1.4」、OAI-AdsBot は「OAI-AdsBot/1.0」を含むUAが公開されています(バージョン番号は変わる可能性があるとの注記あり)。UA文字列は偽装が可能なため、エージェントごとに公開されているIPアドレス一覧(例: https://openai.com/chatgpt-user.json )と突き合わせると精度が上がります。そのうえで disallow 指定パスへの到達をログから逆引きすれば、記事が言う「バイパス」に該当するか分かります。
反映タイミングも見込んでおきます。OpenAIのドキュメントには、検索結果については robots.txt の更新から同社のシステムが調整するまでに約24時間かかる場合があるとの記載があるため、変更直後に「効いていない」と判断するのは早計です。また robots.txt の取得時はUA文字列に robots.txt のマーカーを付加する場合があるとも記載されており、ログにパスが含まれない環境でもこの目印で見分けられます。
所感
Scale Basics編集部としては、今回のデータで方針を変えるべきなのは「AIボットをブロックしているサイト」よりも「ブロックしたつもりで安心しているサイト」だと考えています。最も多く disallow され同時に最も多く到達しているという組み合わせが示すのは、robots.txt が意思表示のプロトコルであってアクセス制御の仕組みではない、という原則です。ここを制御機構だと誤認している限り、行をどれだけ追加してもログ上の実態は変わりません。
実務上は次の2点を推奨します。1点目は、ブロック対象をエージェント単位で切り分けることです。まとめて弾くと、例外規定のある ChatGPT-User 側は止まらず、可視性を握る OAI-SearchBot 側だけが確実に失われます。学習利用を拒みたいなら GPTBot、検索露出を維持したいなら OAI-SearchBot は許可、と目的と対象を1対1で対応させるべきです。
2点目は、robots.txt の運用を「書いて終わり」から「ログで検証する」運用へ切り替えることです。特別なツールがなくても、既存のアクセスログとUA・IPの突き合わせで今日から始められます。加えて、9月15日からとされるCloudflareの既定変更のように、判断のレイヤーがネットワーク側へ移る動きも進んでいます。TollBitの数値は主に欧州と北米を対象とした同社の観測値であり、自社の状況がこの比率どおりとは限りません。判断の根拠には自社のログを使うことをおすすめします。
まとめ
・TollBitの「State of the Bots」2026年上半期版によれば、対象の欧州サイトで、識別されたAI取得ボットの約15%が disallow 指定のURLに到達していたと報じられています
・ChatGPT-User、Bytespider、Youbot は、それぞれを明示的に列挙していた欧州サイトのほぼ半数で disallow ページへのアクセスが確認され、中でも ChatGPT-User が最多とされています
・OpenAIのドキュメントは ChatGPT-User について「ユーザーによって開始されるため robots.txt のルールが適用されない場合がある」と明記し、Perplexityも同様の立場、Anthropicは3つのボットすべてが尊重すると表明していると報じられています
・disallow 率には地域差があり、Claude-User は欧州9%対北米26%、Perplexity-User は欧州13%対北米26%で、ChatGPT-User だけが例外的に高いとされます
・ChatGPT の検索結果への表示可否を決めるのは OAI-SearchBot であり両方を止めると可視性だけを失う点、9月15日からCloudflareの新規追加ドメインで広告掲載ページの Training・Agent が既定ブロックになるとされる点が判断材料です
よくある質問
Q1: robots.txt に ChatGPT-User を disallow と書けば、ChatGPTからのアクセスは止まりますか?
止まらない場合があります。OpenAIのドキュメントには、これらのアクションはユーザーによって開始されるため robots.txt のルールが適用されない場合がある、と明記されています。TollBitのレポートでも、ChatGPT-User を明示的に列挙していた欧州サイトのほぼ半数で disallow ページへのアクセスが確認されたと報じられています。到達の有無はサーバーログやCDNの記録で確認してください。
Q2: AIに読ませたくないので、OpenAI関連のボットをすべてブロックするのは有効ですか?
記事は、その方法では意図した効果が得られない可能性を指摘しています。OpenAIのドキュメントによれば、ChatGPT の検索結果に表示されるかを決めているのは OAI-SearchBot であって ChatGPT-User ではありません。両方をブロックすると、例外規定を抱えた取得制御だけが残り可視性の側を手放すことになる、というのが記事の整理です。学習利用を拒否したいなら GPTBot、検索露出を維持したいなら OAI-SearchBot は許可、とエージェント単位で対応させる運用が現実的です。
Q3: 9月15日からのCloudflareの変更は、既存サイトにも適用されますか?
Search Engine Journalの記事では、9月15日以降に「Cloudflareに新規追加されるドメイン」において、広告が掲載されているページで Training および Agent のクローラーが既定でブロックされ、Search クローラーは許可されたままになる、と報じられています。記述は新規追加ドメインが対象で、既存ドメインの扱いは明示されていません。本稿執筆時点で記事以外の一次ソースは確認できていないため、詳細は今後の公式アナウンスで確認してください。
出典:OpenAI Says Robots.txt May Not Apply To ChatGPT’s Fetch Bot(Search Engine Journal、Matt G. Southern氏、2026年8月14日)https://www.searchenginejournal.com/openai-says-robots-txt-may-not-apply-to-chatgpts-fetch-bot/585864/
参考:Overview of OpenAI Crawlers(OpenAI Platform Docs)https://platform.openai.com/docs/bots
