何が起きたか:「再クロールをリクエスト」でエラーとの報告
発端は、Bluesky上でのやり取りでした。synobazz.bsky.socialというハンドルの投稿者(Jay Cooper氏)が、GoogleのJohn Mueller氏宛てに次のように投稿しています。「こんにちは@johnmu.com。robots.txtレポートの『再クロールをリクエスト』機能に、現在既知の問題はありますか?自分の場合、複数のプロパティで毎回エラーが出ます。自分側の問題なのか、一時的な不具合なのか知りたいです(“hi @johnmu.com. Is there a known issue with the “request a recrawl” function in the robots.txt report at the moment? It throws an error every time for me, across several properties. Wondering whether it’s on my end or a temporary glitch. Thanks!”)」。
Search Engine Roundtableによると、このとき実際に表示されるエラーは「Re-crawl request failed(再クロールのリクエストに失敗しました)」に続いて「Unknown error. Please wait a moment and try again.(不明なエラーです。しばらく待ってから再度お試しください)」というメッセージだと伝えられています。
Mueller氏の反応:「CDNの可能性」から「自分のサイトでも再現」へ
Mueller氏はまず、CDN側の設定が原因である可能性を指摘しました。「経験的には、自分の場合はうまく動きます。CDNを使っていますか?設定によっては、robots.txtの取得すら含めてクローラーをブロックしてしまうCDNがあります(個人的には馬鹿げていると思いますが)(“Anecdotally, it works for me :-/. Are you using a CDN? Some – depending on settings – will block crawlers, even from robots.txt fetches (which is stupid imo).”)」と返信し、この時点ではCooper氏の環境固有の問題である可能性を示唆していました。
ところがその直後、Mueller氏は自身の投稿を訂正する形で次のように書き込んでいます。「……あ、自分が管理している他のサイトの一部でも、同じエラーが出ますね。ちょっと調べてみます(“..ah, I see the error on some of my other sites though. I’ll poke around.”)」。CDNの有無にかかわらず自分の複数サイトでも再現したという発言であり、単一ユーザーの環境固有の問題とは言い切れない状況がうかがえます。ただし、これはGoogleが不具合を正式に認めた発表ではなく、Mueller氏個人が「調べてみる」と述べた段階にとどまる点には注意が必要です。2026年7月27日時点で、公式な原因説明や修正時期のアナウンスはありません。
「再クロールをリクエスト」はSearch Console公式ヘルプ上どういう機能か
今回問題になっている「再クロールをリクエスト」は、Search Consoleのrobots.txtレポートに用意されているボタンです。Google公式ヘルプでは、robotsファイルの一覧でファイル名の横にあるその他アイコンから「再クロールをリクエスト」を選ぶ操作として案内されています。
ただし同じ公式ヘルプは、この機能をあくまで補助的な手段と位置づけています。「Googleではrobots.txtファイルの再クロールを頻繁に実施しているため、通常は再クロールをリクエストする必要はありません」と明記されており、さらに「ブロックを解除したURLがすぐに再クロールされるとは限りません」とも注記されています。つまり、そもそもこのボタンは「押さなければ反映されない」ものではなく、緊急時向けの補助的な導線という位置づけです。
robots.txtの反映にはそもそも時間がかかる仕様
もう一点、実務上押さえておきたいのが、robots.txt自体のキャッシュ仕様です。Googleのrobots.txt仕様ドキュメントは「Googleは通常、robots.txtファイルの内容を最大24時間キャッシュしますが、キャッシュされたバージョンを更新できない状況(タイムアウトや5xxエラーなど)では、さらに長くキャッシュする場合があります(“Google generally caches the contents of robots.txt file for up to 24 hours, but may cache it longer in situations where refreshing the cached version isn’t possible”)」と説明しています。
また、サーバー側のCache-Control(max-age)ヘッダーの設定次第でキャッシュの有効期間がさらに延長・短縮される場合もある、と説明されています。つまり、「再クロールをリクエスト」ボタンが正常であっても、変更が即座に反映されるとは限らない仕様である点は変わりません。
なぜ重要か・SEO/GEO実務への影響
robots.txtは、クロールの可否を左右する土台のファイルです。サイト移転や緊急ブロックなど、変更を急ぎ反映させたい場面で「再クロールをリクエスト」ボタンに頼るケースは少なくなく、そのボタン自体がエラーを返す状況となると、緊急対応のオペレーションに影響が及ぶ可能性があります。
加えて、GPTBotやClaudeBotなどAIクローラー向けにrobots.txtを書き換える運用が広がる中、反映確認をSearch Consoleの管理画面に依存しているサイトほど、今回のような管理画面側の不具合の影響を受けやすくなります。
所感
Scale Basics編集部としては、今回の件は「機能自体がそもそも必須ではない」という前提で対応するのが実務上は現実的だと考えています。Google公式ヘルプの通り、Googleはrobots.txtを頻繁に再クロールしており、通常は数時間〜24時間程度で新しい内容に更新されます。ボタンでエラーが出た場合も、まずは慌てず時間を置き、自然な再クロールを待つのが基本対応です。
緊急性が高い場合(重要ページを誤ってブロックした、逆に隠したいページを公開してしまった、など)は、まず修正後のrobots.txtが本番環境で正しく配信されているかをブラウザやcurlで確認し、ボタンがエラーを返すなら時間を空けて再試行するのが基本です。個別ページを急ぐ場合はURL検査ツールの「インデックス登録をリクエスト」も選択肢ですが、送信数には1日あたりの上限があり、反映にも1日〜1、2週間かかるとされます。いずれも「即時反映」を保証しない前提で運用するのが安全です。
まとめ
・Search Consoleのrobots.txtレポートにある「再クロールをリクエスト」機能で、「Re-crawl request failed」というエラーが出るとの報告がBluesky上で寄せられた
・報告者のJay Cooper氏は複数プロパティで毎回エラーが出ると説明し、Mueller氏も自身の一部サイトで同じエラーを確認した。ただしGoogleが不具合を公式に認めた発表ではなく、原因は調査中の未確認事象である
・Search Console公式ヘルプは、Googleがrobots.txtを頻繁に再クロールしているため通常はこのボタンを使う必要はないとしており、ブロック解除後も即座に再クロールされるとは限らないと注記している
・Google公式仕様では、robots.txtの内容は通常最大24時間キャッシュされ、max-ageのCache-Controlヘッダーで期間が変わることがある
・緊急時は、実際に配信されているrobots.txtの内容を直接確認したうえで、時間を置いた再試行やURL検査ツールの「インデックス登録をリクエスト」を組み合わせるなど、即時反映を前提としない運用が安全である
よくある質問
Q1: Search Consoleの「再クロールをリクエスト」ボタンのエラーは、Googleが認めた不具合ですか?
2026年7月27日時点で、Googleからの公式な不具合発表はありません。BlueskyでJay Cooper氏が複数プロパティでのエラー発生を報告し、Mueller氏も自身の一部サイトで再現を確認して調査すると述べた段階にとどまり、原因や解消時期は明らかになっていません。
Q2: robots.txtの変更はどのくらいで反映されますか?
Google公式のrobots.txt仕様では、内容は通常最大24時間キャッシュされるとされています。サーバー側のCache-Control(max-age)ヘッダーによって期間が延びたり縮んだりすることもあり、タイムアウトや5xxエラーが発生している場合はさらに長くキャッシュされる可能性があります。
Q3: 「再クロールをリクエスト」がエラーで使えない場合、どうすればよいですか?
Search Console公式ヘルプでも、Googleはrobots.txtを頻繁に再クロールしているため通常はこの機能を使う必要はないとされています。エラーが出た場合はまず時間を置いて再試行し、緊急性が高いときは実際に配信されているrobots.txtの内容を直接確認するとよいでしょう。
出典:Google Request Indexing Issue With Robots.txt Files?(Search Engine Roundtable、Barry Schwartz氏、2026年7月27日)https://www.seroundtable.com/google-request-indexing-robots-txt-41761.html
参考:robots.txt レポート(Search Console ヘルプ)https://support.google.com/webmasters/answer/6062598?hl=ja
参考:Google の robots.txt の解釈方法(Google 検索セントラル)https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt
参考:インデックス登録をリクエストする(Search Console ヘルプ)https://support.google.com/webmasters/answer/9012289?hl=ja
