クロール頻度削減ドキュメントにRetry-Afterの説明が加わった
出典によると、GoogleはGoogleのクロール頻度を下げる方法を説明したドキュメントに、いくつかの更新を加えました。Barry Schwartz氏は、変更のほとんどはページ上の内容を整理し直したものだとしたうえで、緊急時の項目にRetry-After HTTPヘッダーの使い方が新たに書き加えられた点を取り上げています。
Retry-Afterは、サーバーが「いつ再試行してよいか」を伝えるためのHTTPヘッダーです。今回、その使い方がクロール頻度を下げる手順の中に直接書かれる形になりました。
出典は、公開中のドキュメントとアーカイブされた以前のものを比べると、主に多くの記述がページ内で移動していることがわかる、と書いています。
Googleが示した更新の理由
Googleは更新内容について、次のように説明したと出典は伝えています。
Restructured the emergency crawl rate reduction section and added information and examples about the Retry-After HTTP header to the Reduce the Google crawl rate documentation.
日本語にすると「緊急時のクロール頻度削減のセクションを再構成し、Googleのクロール頻度を下げるドキュメントに、Retry-After HTTPヘッダーについての情報と例を追加した」という内容です。
さらにGoogleは、この変更を行った理由として次のように述べたとされています。
Support for the Retry-After HTTP header is not new (it was already documented in Temporarily pause or disable a website), and adding it directly to the crawl rate reduction guide makes it easier to find and understand when urgently reducing crawler traffic.
日本語にすると「Retry-After HTTPヘッダーへの対応は新しいものではなく(すでにウェブサイトの一時停止または無効化のドキュメントに記載されていた)、クロール頻度削減のガイドに直接加えることで、クローラーのトラフィックを至急減らすときに見つけやすく、理解しやすくなる」という内容です。
追記された記述の中身
出典が最も大きな追加として挙げているのは、次の記述です。
When returning a 503 or 429 status code, you can also include a Retry-After HTTP header (as defined in RFC 9110 HTTP Semantics) to indicate when Google's crawlers can retry the request, using either a delay in seconds or an absolute UTC date and time
日本語にすると「503または429のステータスコードを返すときに、(RFC 9110 HTTP Semanticsで定義されている)Retry-After HTTPヘッダーもあわせて含めることで、Googleのクローラーがいつリクエストを再試行できるかを示せる。その際は秒単位の待ち時間か、UTCの絶対的な日時のどちらかを使う」という内容です。
Retry-Afterは単独で使うものではなく、503または429を返すときに「あわせて」含めるものとして書かれている点が要点です。
出典によれば、Googleはあわせて例となるコードも追加しています。「何秒後」と相対的に伝えるか、日時で絶対的に伝えるかを選べる点が、ドキュメント上で明示されたことになります。
Googlebotを抑える仕組み自体は変わっていない
出典は、今回の更新についての誤解を避けるための補足もしています。Googleは、Googlebotを抑える新しい方法を導入したわけではなく、根本の仕組みは変わっていない、という整理です。
Googleはもともと、500、503、429のレスポンスを、クロールを減らすためのシグナルとして使っていたとされています。新しいドキュメントは、503または429を使う際に、サイト運営者が提供できる追加のシグナルとしてRetry-Afterを明示した、というのが出典の説明です。
言い換えると、主役はサーバーが返すステータスコードのままで、Retry-Afterはその上に重ねて再試行のタイミングを伝える補助の情報という位置づけです。
なお、この件はX上で議論されたと出典は記しています。Retry-Afterを指定したときにGoogleのクローラーが実際にどの程度その時刻に従うのかといった挙動の詳細について、出典は触れていません。
現場への意味(編集部の見解)
ここからは編集部の整理です。今回のニュースは「新機能」ではなく「既存の挙動の置き場所が変わった」話であり、Googleもそう説明しています。そのため、すでにサーバーの過負荷時に503や429を返す運用をしているサイトにとって、急いで設定を変える必要があるという話ではありません。社内で共有する際も、「GoogleがRetry-Afterに新しく対応した」と伝えるのは不正確で、「対応は以前からあり、クロール頻度削減のドキュメントにも書かれるようになった」と伝えるのが出典に沿った言い方です。
一方で、実務上の意味がないわけではありません。クロールの負荷が問題になるのは、多くの場合、障害やアクセス集中といった緊急の場面です。そうした場面で参照するドキュメントの中に、ステータスコードとRetry-Afterの組み合わせが例つきで並んだことで、手順を確認する手間は減ると考えます。緊急時の対応手順書を持っている運用チームであれば、その手順の参照先として今回のドキュメントを確認し、Retry-Afterの扱いを手順に含めるかどうかを検討する余地があります。
注意したいのは、Retry-Afterを併用する対象として書かれているのが503と429である点です。500は、Googleがクロールを減らすシグナルとしてもともと使っていたレスポンスの一つとして挙げられているにとどまります。ここからは編集部の推測ですが、開発チームと取り決める際は、記述どおり「503または429を返すときにRetry-Afterを添える」と整理しておくのが誤解の少ない運用だと考えます。
また、Retry-Afterで示すのはあくまで「いつ再試行できるか」というシグナルです。出典は、指定した時刻に対してGoogleのクローラーがどう振る舞うかの詳細には触れていません。クロールを確実に止めたい、あるいは特定の時刻までに必ず戻ってきてほしいといった期待を、このヘッダー一つに背負わせるのは避けたほうがよいと編集部は考えます。
まとめ
・Search Engine RoundtableのBarry Schwartz氏が2026年10月6日、GoogleがGoogleのクロール頻度を下げるドキュメントを更新したと報じた
・変更の多くはページ内の内容の並べ替えで、緊急時にクローラーのトラフィックを至急減らす項目にRetry-After HTTPヘッダーの情報と例が加わった
・Googleは、Retry-Afterへの対応は新しいものではなく、ウェブサイトの一時停止または無効化のドキュメントにすでに記載されていたと説明した
・追記された記述では、503または429を返すときにRFC 9110 HTTP Semanticsで定義されたRetry-Afterを含め、秒単位の待ち時間かUTCの絶対的な日時で再試行のタイミングを示せるとされている
・Googlebotを抑える新しい方法ではなく、仕組みは変わっていない。Googleはもともと500、503、429をクロールを減らすシグナルとして使っており、Retry-Afterは503や429を使う際の追加のシグナルとして明示された
よくある質問
Q1: GoogleはRetry-Afterヘッダーに新しく対応したのですか?
出典によると、GoogleはRetry-After HTTPヘッダーへの対応は新しいものではなく、ウェブサイトの一時停止または無効化のドキュメントにすでに記載されていたと説明しています。今回は、それをGoogleのクロール頻度を下げるドキュメントに直接加えることで、クローラーのトラフィックを至急減らすときに見つけやすく、理解しやすくしたとされています。
Q2: Retry-Afterはどのステータスコードと一緒に使うものですか?
追記された記述では、503または429のステータスコードを返すときに、RFC 9110 HTTP Semanticsで定義されたRetry-After HTTPヘッダーもあわせて含められるとされています。再試行のタイミングは、秒単位の待ち時間か、UTCの絶対的な日時のどちらかで示します。
Q3: 今回の更新でGooglebotのクロールを抑える仕組みは変わりましたか?
出典は、Googleが新しい抑制方法を導入したわけではなく、根本の仕組みは変わっていないとしています。Googleはもともと500、503、429のレスポンスをクロールを減らすシグナルとして使っており、新しいドキュメントは503や429を使う際にサイト運営者が提供できる追加のシグナルとしてRetry-Afterを明示したものだと説明されています。
出典:Google Search Crawl Rate Doc Adds Retry-After HTTP & More(Search Engine Roundtable、Barry Schwartz氏、2026年10月6日)https://www.seroundtable.com/google-crawl-rate-documentation-update-42247.html
無料ダウンロード資料
はじめてのSEO 完全ガイド
Web担当になった人が、90日で自走するための実務書
検索エンジンの仕組みから、キーワード選定・記事づくり・技術対応・効果測定、 そしてAI検索時代の打ち手まで。専門用語の知識ゼロの状態から読み始められるよう、用語はすべて本文中で説明しています。
| 体裁 | PDF／A4縦・全109ページ |
|---|---|
| 収録 | 図解21点、チェックリスト120項目、90日実行プラン、用語集56語 |
※フォーム送信後、ご入力のメールアドレス宛にダウンロードリンクをお送りいたします。
こちらのフォームにご記入ください
入力は1分ほどで終わります。
