テクニカルSEO

「あなたはボットですか」画面がインデックス除外を招く仕組みをMuellerが解説

「あなたはボットですか」画面がインデックス除外を招く仕組みをMuellerが解説

不正なトラフィックをブロックするための「あなたはボットですか」という確認画面が、まれに自サイトのページをGoogleのインデックスから消してしまうことがある——。Google Search Off the Recordの最新エピソードで、GoogleのJohn Mueller氏がその理由を説明しました。通常のブラウザ確認では気づけない性質の問題であるため、CDNやボット防御サービスを使っている日本の担当者にとっても他人事ではありません。

何が起きたのか

サイトのセキュリティが訪問者を疑わしいと判定すると、本来のコンテンツの代わりに「あなたはボットですか」という確認ページを返すことがあります。このページがGooglebotに対してもそのまま、あたかも通常のコンテンツであるかのように返されてしまうことがあり、Googleがそれをインデックスしてしまう場合があります。その結果、サイトの本来のコンテンツがインデックスから外れたり、このインタースティシャル(確認画面)に置き換わったりすることがあります。加えて、この「あなたはボットですか」画面は他サイトでも同様に表示されるため、Googleは似たような見た目のページを複数見つけることになります。Googleは重複と見なしたページ群の中から1つを正規版(canonical)として選び、それ以外を重複として扱います。これはインデックスされるかどうかだけでなく、Googleがどのページを自サイトの「メインバージョン」とみなすかにも影響し、他サイトのページが選ばれて自サイトのページが重複扱いになることもあります。Mueller氏は、Googleが選んだページを調べて原因を逆算する必要があるため特定が難しいと説明しており、さらに通常の訪問者はこの「あなたはボットですか」プロンプトに遭遇しないことが多いため、自分でサイトを確認しても問題なさそうに見える点も指摘しています。

なぜ気づきにくいのか

通常のブラウザでの確認では、この画面は疑わしいと判定された訪問者にのみ表示されるため見ることができません。担当者自身が見る限り、ページは普通に読み込まれます。問題があるかどうかを確認するにはSearch Consoleを使う必要があります。ページインデックスレポートは、該当ページが重複と判定されている、あるいは他の場所で正規化(canonicalized elsewhere)されているとフラグを立てます。さらにSearch ConsoleのURL検査ツールを使うと、Googleがそのコンテンツの「メインバージョン」としてどのアドレスを選んでいるかが分かります。もしそのアドレスが自サイトのものでない場合は、調査する価値があります。

何が原因で、どう対処するか

この問題は、ページ自体ではなくCDN・ホスティング・ボット防御レイヤーによって引き起こされることがあるため、サイトを見ても明らかな兆候がないまま発生する場合があります。Mueller氏は、クロールが増えるとこの種の防御が作動することがあると述べています。リクエスト自体は成功として返るため、「壊れたページを探す」という一般的な発想は役に立ちません。Googleはサイトに到達し有効なレスポンスを得られている一方で、受け取っているのが間違ったコンテンツであることが問題であり、Googlebotが実際に何を受け取っているかを認識できないチェックでは、この不具合は発見されません。SEJの記事では、Mueller氏が説明した類似の事例として「Page Indexed Without Content」エラーにも触れています。このケースでは、サイトのセキュリティ設定がGooglebotだけを黙ってブロックし、通常の訪問者は通していたため、Googleはコンテンツを受け取れないままページを読み込んでいました。対処法として、この問題に遭遇した場合はセキュリティサービス・CDN・ホスティングの管理者に連絡して原因を調査してもらい、修正後はSearch Consoleの「修正を検証(Validate Fix)」を使ってGoogleに再クロールを依頼します。Googleが次回のクロール時に自動的に修正を検知する場合もあります。

SEO担当者はどう捉えるか

今回の話は、表示回数やクリック数といった「計測」の話ではなく、ページがインデックスされるか、正規版として扱われるかという「インデックス」に関する問題です。「順位が上がる/下がる」という文脈ではない点に注意が必要です。実務的には、重要ページについて定期的にSearch Consoleのページインデックスレポートと、URL検査ツールでの正規URLの確認を習慣にすることが有効です。特にCDNやWAF、ボット対策サービスを導入しているサイトでは、Googlebotに対して意図せず本来と異なるコンテンツ(確認画面など)を返していないか確認する価値があります。この問題は通常のブラウザ確認だけでは発見できない性質のものなので、「自分の目で見て問題がなさそうだから大丈夫」という判断は避けるべきです。

所感

Scale Basics編集部としては、この事例はセキュリティ対策とクローラビリティのバランスの難しさを改めて示すものだと感じています。ボット対策は不正アクセスやスクレイピング対策として欠かせない一方で、Googlebotを誤って「疑わしい訪問者」として扱ってしまえば、その代償はインデックスからの除外という形で表れます。しかも通常の閲覧確認では異常に気づけないため、定期的にSearch Consoleでインデックス状況を確認する運用を、セキュリティ担当部門とも共有しておくことが重要だと考えます。

まとめ

・「あなたはボットですか」確認画面がGooglebotに通常ページとして返されると、Googleにインデックスされてしまうことがある(Mueller氏、Search Off the Record)。

・同様の確認画面は他サイトにも存在するため、Googleは重複ページと判定し、正規版として自サイト以外のページを選ぶことがある。

・通常のブラウザ確認では気づけず、Search ConsoleのページインデックスレポートとURL検査ツールでの確認が必要。

・原因はCDN・ホスティング・ボット防御レイヤーにあることが多く、対処後はSearch Consoleの「修正を検証」で再クロールを依頼する。

よくある質問

Q1: 「あなたはボットですか」画面とは何ですか?

サイトのセキュリティが訪問者を疑わしいと判定した際に、本来のページの代わりに表示される確認画面です。まれにこの画面がGooglebotに対しても通常のページであるかのように返され、Googleにインデックスされてしまうことがあります。

Q2: これはページの検索順位が下がるという意味ですか?

いいえ。Google’s John Mueller氏が説明したのは順位の低下ではなく、インデックスに関する問題です。この確認画面は他サイトにも同様に表示されるため、Googleは似たページを重複と判定し、1つを正規版として選び、他を重複として扱います。この結果、自サイトの本来のコンテンツがインデックスから外れたり、別サイトのページがメインバージョンとして選ばれたりすることがあります。

Q3: どうやって問題を確認し、対処すればよいですか?

通常のブラウザ確認では気づけないため、Search Consoleのページインデックスレポートで重複や正規化のフラグを確認し、URL検査ツールでGoogleが選んだメインバージョンのアドレスを調べます。自サイト以外のアドレスが選ばれている場合は、CDNやホスティング、ボット防御サービスの管理者に相談して修正し、修正後はSearch Consoleの「修正を検証」で再クロールを依頼してください。

出典:”Are You A Bot” Screens Can Get Your Pages Dropped By Google(Search Engine Journal、2026年7月19日)https://www.searchenginejournal.com/are-you-a-bot-screens-can-get-your-pages-dropped-by-google/582801/

scale-basics編集部
監修

scale-basics編集部

SEO・AI検索最適化(AIO/LLMO/GEO)・Web制作の最前線で活動する専門チーム。テクニカルSEOからコンテンツ戦略、データ分析まで幅広い実務経験をもとに、最新のナレッジと実践的なノウハウを発信しています。

編集部について詳しく見る →