何が起きたか:Claudeの共有チャットがGoogle検索に表示
Search Engine Journalの記事(見出し:「Indexed Claude Chats Show Why Disallow Is Not Noindex(インデックスされたClaudeのチャットが示す、Disallowはnoindexではない理由)」)によると、Claudeの共有チャット機能で生成されたリンクが、Googleのsite:検索演算子を使うと発見できる状態になっていました。独立系ITコンサルタントのDaniel J. Glover氏が7月26日にこの矛盾した設定を報告したのに続き、404 Mediaが7月27日(月曜)に、Claudeの共有ページがsite:検索演算子経由で検索結果に表示されていると報じました。
TechCrunchはさらに、医療関連の資料(medical material)、社内の内部文書(internal company documents)、そして小学生くらいの年齢の子どもの氏名と電話番号を含むファイル(files carrying the names and phone numbers of primary school-aged children)まで発見できたと報じています。Search Engine Journalの記者自身も7月27日に状況を確認し、問題の設定がそのまま残っていた(“the setup still in place”)としています。
技術的な詳細:robots.txtとX-Robots-Tagの矛盾した設定
記事は、Google側から見た挙動を次のように技術的に説明しています。claude.aiのrobots.txtは、「User-agent: *」のグループの下で「/share/*」以下のパスをDisallow(クロール禁止)に設定しており、Googlebot専用の別グループは存在しないため、Googlebotもこの「User-agent: *」グループの規則に従う(“The robots.txt file at claude.ai disallows /share/* under the User-agent: * group, with no separate Googlebot group, so that is the group Google goes by”)としています。
一方で、実際に稼働している共有URLにGETリクエストを送ると、レスポンスヘッダーとして「x-robots-tag: none」(“A live share URL responds with the header x-robots-tag: none on a GET request”)が返ってきます。記事はこのヘッダーについて、「このページはX-Robots-Tagヘッダーにnoneという値を返しており、これはGoogleのrobotsメタタグに関するガイドラインではnoindexおよびnofollowと同じ意味として扱われる(“These pages also send back an X-Robots-Tag header set to none, which Google’s robots meta tag guidelines treat as the same as noindex and nofollow.”)」と説明しています。
なぜブロックしても検索結果に出るのか:「Disallow」と「noindex」の違い
記事のタイトルどおり、今回の核心は「クロールを禁止すること(Disallow)」と「インデックス登録を禁止すること(noindex)」が別物である点にあります。GoogleのJohn Mueller氏は、「robots.txtでブロックされているページであっても、他のページからリンクされていれば検索結果に表示されることがある(“even pages blocked by robots.txt can appear in search results if other pages link to them”)」と説明しています。
つまり、robots.txtのDisallowはあくまでGooglebotによるクロール(ページ内容の取得)を止めるだけの指示であり、そのURL自体が外部からリンクされていれば、Googleはページの中身を読まないまま、URLだけを検索結果に登録してしまうことがあります。今回のClaudeの共有ページは、x-robots-tag: noneというnoindex相当のシグナルを実際には返していたにもかかわらず、robots.txtのDisallow設定によってGooglebotがそのページ自体にアクセスしてヘッダーを読み取ることができず、結果としてnoindexの指示が機能しない状態に陥っていました。GoogleのMartin Splitt氏は、この種の矛盾を避けるために「(Disallowとnoindexの)両方のルールを同じページに設定することを避けるべきだ(“avoiding placing both rules on the same page”)」と助言しています。
Anthropicの対応・Googleのコメント
AnthropicはTechCrunchに対し、共有リンクはクローラーがアクセスできる場所に人が投稿した場合にのみ検索結果に表示されるものであり、プライベートメッセージ経由で送られたリンクはインデックスされない(“share links will appear in search results only if people post them in accessible locations for crawlers, and that links sent through private messages won’t be indexed”)と説明しました。同社の広報担当者エイミー・ロザーラム氏(Amie Rotherham)は、これらのリンクについて「人が自ら共有することを選ばない限り、推測されたり発見されたりすることはない(“are not guessable or discoverable unless people choose to share them themselves”)」と補足しています。
一方、Googleの広報担当者ネッド・エイドリアンス氏(Ned Adriance)は、「検索エンジンはどのページを公開するかを決定していない(“search engines do not determine which pages are made public”)」とした上で、Googleはサイト運営者にクロールとインデックスをコントロールする手段を提供しており、その指示に従っていると述べています。
初めてではない:OpenAI・Googleも経験した同種の問題
記事は、AIチャットの共有リンクが検索にインデックスされる今回のような問題が、初めてではないと指摘しています。OpenAIは2025年8月に共有されたChatGPTのチャットを検索結果から取り下げており(“OpenAI pulled shared ChatGPT chats from search in August 2025”)、Googleも2023年にBardのトランスクリプトがインデックスされないようブロックした(“Google blocked Bard transcripts from indexing in 2023”)としています。
記事はこの流れを踏まえ、「3社がこれまでにユーザーのチャットが検索に表示される事態を経験している。それは、公開共有リンクが作られた瞬間から公開ウェブページとして扱うべき十分な理由になる(“Three companies have now had customer chats turn up in search. That’s reason enough to treat a public share link as a public webpage from the moment it exists.”)」と結論づけています。
SEO実務への影響・今日からできる確認手順
今回の件はAIチャットボット特有の出来事に見えますが、robots.txtのDisallowと、noindexタグやX-Robots-Tagヘッダーを同じURLに重ねて設定してしまう設定ミスは、一般のウェブサイトでも起こり得るものです。SEO担当者が自社サイトで確認すべき点として、まず、noindexタグやX-Robots-Tagヘッダーを設定しているURL(または配下のディレクトリ)が、robots.txtで同時にDisallowされていないかを洗い出すことが挙げられます。
両方が重複している場合、Googlebotはそのページにアクセスできずnoindexの指示を読み取れないため、外部リンクなどを経由してURLだけがインデックスされてしまう可能性があります。特に、会員限定コンテンツの共有リンク、フォーム送信後のサンクスページ、社内向けドキュメントの共有URLなど、「本来検索に出したくないが、リンクが外部に漏れる可能性がある」種類のページでは、robots.txtのDisallowではなく、クロールを許可した上でnoindexタグ(またはX-Robots-Tagヘッダー)で制御する設計に見直す必要があります。
所感
Scale Basics編集部としては、今回の件は「AIチャットボットの共有機能」という目新しさはあるものの、技術的な原因はSEOの世界で長く知られてきた「Disallowとnoindexの矛盾」という基本的な落とし穴そのものだと捉えています。Googleが公式ドキュメントで繰り返し説明してきた挙動であるにもかかわらず、AI企業を含む複数の大手プラットフォームで同じ設定ミスが繰り返されている点は、実務上の注意喚起として重く受け止めるべきです。
自社サイトに会員限定・非公開を意図したURLがある場合は、Disallow頼みにせず、まずクロールを許可した上でnoindexタグ(またはX-Robots-Tagヘッダー)を設定し、Googleがその指示を実際に読み取れる状態になっているかをSearch Consoleの「URL検査ツール」等で確認することを推奨します。Claudeを業務で利用している読者は、共有したチャットやアーティファクトのうち不要になったものを、記事が案内する手順(Claudeの設定画面から)で速やかに未共有の状態に戻しておくことも合わせて検討すべきでしょう。
まとめ
・AnthropicのAIチャットボット「Claude」の共有チャットリンクが、Google検索のsite:演算子経由で発見できる状態になっていたとSearch Engine Journalが報じた
・独立系ITコンサルタントのDaniel J. Glover氏が7月26日に、404 Mediaが7月27日(月曜)に同様の問題を報告し、TechCrunchは医療関連資料や社内文書、子どもの氏名・電話番号を含むファイルまで発見できたとしている
・claude.aiのrobots.txtは「/share/*」以下をDisallowに設定している一方、実際の共有URLはx-robots-tag: none(noindex・nofollow相当)を返しており、両者が矛盾していた
・GoogleのJohn Mueller氏は、robots.txtでブロックされたページでも外部からリンクされていれば検索結果に表示され得ると説明し、Martin Splitt氏はDisallowとnoindexを同じページに重ねて設定しないよう助言している
・OpenAIは2025年8月に、Googleは2023年にそれぞれ自社AIチャットの共有トランスクリプトを検索から除外した経緯があり、今回で3社目の同種事例となる
よくある質問
Q1: 今回のClaudeの共有チャットが検索に表示されていた問題の直接の原因は何ですか?
claude.aiのrobots.txtが「/share/*」以下のパスをDisallow(クロール禁止)に設定している一方、実際の共有URLはx-robots-tag: none(noindexおよびnofollowと同等)というヘッダーを返していたためです。robots.txtのDisallowによってGooglebotがページにアクセスできず、noindexに相当するこのヘッダーを読み取れなかったことで、外部リンクなどを経由してURLだけが検索結果にインデックスされる状態になっていました。
Q2: 「Disallow」と「noindex」はどう違うのですか?
GoogleのJohn Mueller氏が説明しているとおり、robots.txtのDisallowはGooglebotによるクロール(ページ内容の取得)を止めるだけの指示であり、他のページからリンクされていればそのURLは検索結果に表示され得ます。一方noindexタグやX-Robots-Tagヘッダーはインデックス登録そのものを止める指示ですが、Martin Splitt氏が助言するとおり、Disallowで同時にブロックしてしまうとGooglebotがそのnoindexの指示を読み取れなくなるため、両方を同じページに重ねて設定するべきではありません。
Q3: サイト運営者は今回の件からどのような対応を取るべきですか?
記事は、公開共有リンクは作成された瞬間から公開ウェブページとして扱うべきだとしています。自社サイトで会員限定・非公開を意図したURLがある場合は、robots.txtのDisallowに頼るのではなく、クロールを許可した上でnoindexタグやX-Robots-Tagヘッダーを設定し、Googleがその指示を実際に読み取れる状態にしておく必要があります。Claudeの利用者については、記事によれば設定画面のプライバシー項目から共有チャット一覧を確認し、不要な共有チャットを未共有の状態に戻すことが案内されています。
出典:Indexed Claude Chats Show Why Disallow Is Not Noindex(Search Engine Journal、Matt G. Southern氏、2026年7月28日)https://www.searchenginejournal.com/indexed-claude-chats-show-why-disallow-is-not-noindex/583852/
