論考の骨子:AIボットへの課金は「収益化」ではなく「可視性」の選択
この論考の章立てのひとつは「The Toll Booth Everyone Is Reading As A Revenue Line(誰もが収益源として読み違えている料金所)」と題されています。著者は、AIクローラーへの課金を新しい収益源として捉える論調に異を唱え、「そのクローラーに課金することと、そのクローラーが将来自社を顧客に紹介してくれる回答へと変わることは、しばしば同じパイプラインの話だ(“The crawler you would charge and the answer that refers a customer to you are often the same pipeline.”)」と指摘しています。
背景にあるのは、ウェブがこれまで前提としてきた取引の崩壊です。論考では「クローラーにアクセスを許せばインデックスされ、いずれトラフィックが戻ってくる」という開かれたウェブの取引がAIクローラーの登場によって成り立たなくなった状況を「The Open-Web Bargain Is Being Unbundled(開かれたウェブの取引がバラバラに解体されている)」という章で整理しています。あわせて、AIエージェントがそもそも認可された訪問者と言えるかどうかを争う「Amazon対Perplexityの訴訟(“the Amazon v. Perplexity case over whether an agent is even an authorized visitor”)」や、複数の出版社がCommon Crawlに対しスクレイピングの停止を求めている動きにも触れ、「誰にも何も返さない抽出(“extraction that takes content and sends nobody back”)」が横行している現状を問題視しています。
Cloudflareの「pay-per-crawl」の仕組みとHTTP 402
論考が中心的な事例として挙げているのが、Cloudflareが2025年7月1日(同社が「Content Independence Day」と呼ぶ日)に開始した「pay-per-crawl」です。出版社がドメイン単位で1リクエストあたりの定額料金を設定し、クローラー側が支払い意思をリクエストヘッダーで提示する仕組みで、決済処理はCloudflareが担います。論考は「Cloudflareは自らをMerchant of Record(決済の名義人)と位置づけ、決済処理を担う。これが重要な点だ(“Cloudflare describes itself as the Merchant of Record and runs the settlement, which matters”)」と説明しています。
この仕組みの核となっているのが、HTTPステータスコード「402」です。論考は「そのメカニズムはHTTP 402であり、1997年にウェブに書き込まれながら、ほぼ30年間放置されてきたステータスコードだ(“The mechanism is HTTP 402, a status code written into the web in 1997 and left dormant for almost thirty years.”)」と述べ、長年「Payment Required(支払いが必要)」として予約されたまま使われてこなかったコードが実装されたことを指摘しています。ローンチ時点についても「開始当初、この機能はプライベートベータであり、Cloudflare自身も完成した市場ではなく最初の実験だと位置づけていた(“At launch, the feature was a private beta, and Cloudflare framed it as a first experiment, not a finished market.”)」と補足されています。Cloudflare自身のブログでも、pay-per-crawlは「ドメイン所有者に自社の収益化戦略の主導権を全面的に与え、サイト全体で均一の1リクエストあたり定額価格を設定できる(“Pay per crawl grants domain owners full control over their monetization strategy, allowing them to define a flat, per-request price across their entire site.”)」仕組みとして紹介されています。
AWS・TollBit・Akamaiにも広がる課金の仕組み
同様の仕組みはCloudflareだけでなく複数の事業者に広がっていると論考は紹介しています。AWSは2026年6月15日、Web Application Firewall(WAF)に「AIトラフィックの収益化機能」を追加し、保護対象のコンテンツにAIクローラーがアクセスした際にHTTP 402を返す仕組みを実装しました。決済はCoinbaseの「x402」プロトコルを用いたステーブルコイン建てで行われ、WAF Bot Control内でコンテンツのパスやボットの種類ごとに価格を設定できるとされています。
このほか、使用量に応じた課金モデルでボット・エージェント向けのペイウォールを提供する「TollBit」、2025年9月に発表された「Skyfire」をTollBitとあわせて自社のエッジ機能に統合したAkamaiの名前も挙がっています。x402についてはCoinbaseが提供するオープンな標準規格で、事前のアカウント登録なしにステーブルコインで決済でき、価格や支払い詳細を機械可読な形式で配信できる点が特徴として紹介されています。
「課金すべきサイト」と「課金が危険なサイト」を分ける基準
論考の「Whether You Should Charge Depends On Who You Are(課金すべきかどうかはあなたが何者かによる)」という章では、課金が理にかなうサイトと、むしろ危険なサイトが対比されています。原文では「ライセンス可能な深いアーカイブを持つ出版社、ニュースメディア、参考資料データベース、あるいは独自データセットを持つサイトは、二つの条件を備えている(“A publisher with a deep, licensable archive, a news outlet, a reference database, or a proprietary data set, has two things…”)」とされ、一方で「AI可視性を追い求めるコンテンツサイトやコマースサイトは、その正反対の立場にある(“A content or commerce website chasing AI visibility sits on the opposite side.”)」と説明されています。
この対比を象徴する一文として、論考は「AIエージェントが返す答えそのものになることを戦略とするウェブサイトは、自分が課金する余裕のないクローラーについて語っているにすぎない(“The website whose strategy is to be the answer an agent gives is describing a crawler it cannot afford to charge.”)」と述べています。流通経路そのものをAIクローラーに依存している事業者にとって、そのクローラーへの課金やブロックは自らの露出を絶つリスクと表裏一体だという整理です。あわせて「ウェブサイトが今やメガホンではなく情報源になっているのも同じ理由からだ。価値は読まれることにあり、壁で囲うことにはない(“That is the same reason a website is now a source rather than a megaphone: The value is in being read, not in being walled.”)」とも述べられています。
Adobeのデータが示す「見える請求書」と「見えない請求書」
論考はAdobeの2026年第2四半期データとして「米国の小売業者に対するAI経由の参照トラフィックが前年比393%増加した(“AI-referred traffic to US retailers up 393% year over year”)」という数値を引用し、AIサーフェスがすでに実際の顧客紹介元になっていることの裏付けとして位置づけています。
そのうえで著者は、課金という判断には二層の請求書があると整理します。「許可と支払いが一つの層に収束するとき、訪問者を迎え入れるかどうかの決定は、もはやデフォルトの挙動ではなく、意図的で値付けされた選択になる(“When permission and payment collapse into one layer, the decision to admit a visitor stops being a default and becomes a deliberate, priced choice.”)」としたうえで、結びの一文として「目に見える請求書はクローラーが支払うものだ。目に見えない請求書は、自分が消えてしまう回答のことだ。どちらを注視しているのか、自分で決めなければならない(“The bill you can see is the one the crawler pays. The bill you cannot see is the answer you vanish from. Decide which one you are watching.”)」と述べています。なお論考は、匿名の大多数のボットがx402のような仕組みで実際に支払うようになるかどうかは、現時点で「The Unsettled Question(未解決の問い)」だとも位置づけており、公開されたデータで結論づけられる段階ではないとしています。
なぜ重要か・SEO/GEO実務への影響
この論考が示す構図は、GEO(生成エンジン最適化)やLLMO(大規模言語モデル最適化)に取り組む実務者にとって、AIクローラー対策を「コストか収益か」だけで判断することの危うさを浮き彫りにします。robots.txtやCDNレベルでGPTBot、ClaudeBot、PerplexityBotといった特定のAIクローラーを一律ブロックする、あるいは課金対象にする設定は、そのままAI Overviewsやチャット型検索の回答から自社が引用されなくなるリスクと直結します。論考が指摘するとおり、課金・ブロックの対象クローラーと、将来顧客を紹介してくれる可能性のあるクローラーは重なっていることが多いためです。
一方で、ライセンス可能な独自データやアーカイブを持つ媒体にとっては、pay-per-crawlのような仕組みは正当な収益化手段になり得ます。つまり「AIクローラー対策」には一律の正解があるわけではなく、自社のトラフィック構造がAI経由の紹介にどれだけ依存しているかによって、取るべき判断が変わるという点が実務上のポイントです。
所感
Scale Basics編集部としては、この論考が指摘する「見える請求書」と「見えない請求書」という対比は、日本のサイト運営者にもそのまま当てはまる整理だと考えています。特に懸念しているのは、多くのサイトがAIクローラーからの参照トラフィックやAI回答内での引用状況を計測できていないまま、robots.txtやCDNの設定で特定のAIボットを一律ブロックしてしまっているケースです。計測ができていない状態で「守り」の判断だけを下すと、論考が言う「見えない請求書」――つまりAI回答から自社が消えていくコスト――に気づけないまま機会を失うリスクがあります。
実務上は、まずGPTBot・ClaudeBot・PerplexityBot・Google-Extendedなど主要なAIクローラーごとのアクセスログを分離して可視化し、そのうえでAI OverviewsやChatGPT、Perplexityの回答内で自社がどの程度引用されているかを別途確認することを推奨します。そのうえで、独自性の高いデータやアーカイブを持つページに限定してpay-per-crawlや個別のアクセス制限を検討する、という順序を踏むのが安全です。無条件に全AIクローラーをブロックする判断は、論考が警告する「答えそのものになる」戦略と真っ向から矛盾する可能性がある点に注意が必要です。ただし、この論考自体は2026年7月時点の海外の事例をもとにした著者個人の見解であり、日本国内でpay-per-crawl系サービスがどこまで普及しているか、国内サイトへのAIクローラーの実際のアクセス比率はどうかといった点は、別途自社データで確認する必要があります。
まとめ
・Search Engine Journal(Slobodan Manic氏、2026年7月25日付)に掲載された論考は、AIボットへの課金・ブロックを「収益化の決定」ではなく「どのAIエージェントに引用され続けるかを決める可視性の決定」だと位置づけている
・Cloudflareは2025年7月1日、1997年に定義されながら使われてこなかったHTTPステータスコード「402」を用いた「pay-per-crawl」をプライベートベータで開始した
・AWSも2026年6月15日にWAFへ同様の課金機能を追加し、Coinbaseのx402プロトコルによるステーブルコイン決済に対応。TollBitやAkamai(Skyfireを統合)など周辺プレイヤーの動きも広がっている
・論考は、ライセンス可能な独自アーカイブを持つ出版社には課金が理にかなう一方、AI可視性を追い求めるコンテンツ・コマースサイトには課金がリスクになり得ると整理している
・Adobeのデータでは米国小売業者へのAI経由参照トラフィックが前年比393%増加しており、著者は「見える請求書(クローラーが払う金銭)」と「見えない請求書(AI回答から消えるコスト)」のどちらを見ているかを自問すべきだと結んでいる
よくある質問
Q1: AIボットへの課金は具体的にどんな仕組みで行われていますか?
論考で紹介されているのは、HTTPステータスコード「402(Payment Required)」を使う方式です。Cloudflareは2025年7月1日にこの仕組みを使った「pay-per-crawl」をプライベートベータで開始し、出版社がドメイン単位で1リクエストあたりの価格を設定し、Cloudflareが決済の名義人(Merchant of Record)として決済処理を担います。AWSも2026年6月15日にWAFへ同様の機能を追加し、Coinbaseのx402プロトコルによるステーブルコイン決済に対応しています。
Q2: すべてのサイトがAIクローラーに課金すべきですか?
論考は一律の答えを示していません。ライセンス可能な深いアーカイブを持つ出版社やニュースメディア、参考資料データベース、独自データセットを持つサイトには課金が理にかなうとする一方、AI可視性を追い求めるコンテンツサイトやコマースサイトにとっては、課金やブロックが自社をAIの回答から消す判断そのものになりかねないと警告しています。
Q3: この論考はSEO/GEO実務でどう活かせますか?
AIクローラーを一律にブロック・課金する前に、まずGPTBotやPerplexityBotなど個別クローラーのアクセス状況と、AI Overviewsやチャット型検索の回答内での自社の引用状況を可視化することが前提になります。そのうえで、独自性の高いコンテンツに限って課金や制限を検討するなど、自社のトラフィック構造がAI経由の紹介にどれだけ依存しているかに応じて判断を分けることが実務上のポイントです。
出典:Charging AI Bots Decides Which Agents Can Still Cite You(Search Engine Journal、Slobodan Manic氏、2026年7月25日)https://www.searchenginejournal.com/charging-ai-bots-decides-which-agents-can-still-cite-you/580050/
参考:Introducing pay per crawl: Enabling content owners to charge AI crawlers for access(Cloudflare Blog)https://blog.cloudflare.com/introducing-pay-per-crawl/
