何が発表されたか
Google Search Central Blogに、Gary氏による「Inside Googlebot: demystifying crawling, fetching, and the bytes we process（Googlebotの内側：クロール・フェッチと処理するバイトの解明）」と題した記事が掲載されました。テーマは、Googlebotがページを取得する際にどこまでのデータを読み、どこで打ち切るのかという、クロールの基礎的な挙動です。
記事のポイントは大きく分けて、（1）Googlebotは単体のプログラムではなく共有の基盤であること、（2）取得できるバイト数には上限があること、（3）その上限を踏まえたHTML設計の考え方、の3点です。
Googlebotは「集中型のクロール基盤」
まず、Googlebotは1つの独立したプログラムではなく、複数のGoogleサービスが共有する「集中型のクロール基盤（centralized crawling platform）」だと説明されています。Google ショッピングやAdSenseなど数多くのクライアントが、同じ土台となるインフラを通じて、それぞれ別のクローラー名でクロール要求を送っているという構造です。
「Googlebot」という名前は検索向けのクローラーを指しますが、その裏側の仕組みは他のGoogleプロダクトと共通している、と理解しておくとよいでしょう。
取得できるバイト数の上限：HTMLは2MB、PDFは64MB
記事で最も実務に直結するのが、取得（フェッチ）できるデータ量の上限です。原文では次のように示されています。
| ファイル種別 | 取得上限 |
|---|---|
| HTML | 2MB（HTTPヘッダーを含む） |
| 64MB | |
| 種別が指定されない場合のデフォルト | 15MB |
HTMLが2MBを超えた場合、Googlebotはちょうどその上限で取得を打ち切ります。ダウンロードした範囲は、あたかもそれが完全なファイルであるかのようにインデックス処理やレンダリングへ渡され、上限を超えた部分はGoogleのシステムからは一切見えなくなります。つまり、2MBより後ろに置かれた要素は評価対象にならない可能性があるということです。
レンダリング（WRS）とHTML設計への示唆
取得後、Web Rendering Service（WRS）がJavaScriptを処理し、ブラウザと同じようにクライアントサイドのコードを実行して最終的なページの状態を把握します。WRSはステートレスに動作し、リクエストごとにローカルストレージをクリアするとされています。
この仕組みを踏まえ、記事では次のような設計が推奨されています。
・title・meta・canonical・構造化データといった重要な要素は、HTMLの早い位置（上部）に置く。2MBの打ち切りより後ろに埋もれないようにするためです。
・重いCSSやJavaScriptは外部ファイルに切り出す。外部リソースは別途取得され、それぞれ独自の上限が適用されるため、HTML本体を軽く保てます。
・サーバーの応答時間にも目を配る。
SEO担当者はどう活かすか
実務上のチェックポイントは明快です。まず、自サイトのHTMLソース（レンダリング前の生のHTML）が肥大化していないかを確認します。特に、大量のインラインCSS/JavaScriptや自動生成される巨大なデータ属性で2MBに迫っていないか。ページビルダーやタグの盛りすぎで生HTMLが膨らむケースは珍しくありません。
次に、SEO上重要なタグ（title、meta description、canonical、構造化データ）がHTMLの冒頭付近に出力されているかを確認します。CMSやテーマによっては、これらが本文より後ろに出力される場合があるため、生成後のHTMLを実際に見て並び順をチェックすると安全です。
まとめ
・Googlebotは単体プログラムではなく、複数サービスが共有する集中型クロール基盤である。
・取得上限はHTMLが2MB（ヘッダー含む）、PDFが64MB。上限を超えた部分はGoogleに読まれない。
・重要タグはHTML上部に、重いCSS/JSは外部ファイルへ。生HTMLを軽く保つ設計が有効。
・これはクロール・取得の技術仕様の解説であり、検索順位を直接上下させるアルゴリズム変更の告知ではない。
よくある質問
Q1: HTMLが2MBを超えるとどうなりますか？
Googlebotは2MBの時点で取得を打ち切ります。ダウンロードされた範囲だけがインデックス処理とレンダリングに渡され、それより後ろの内容はGoogleのシステムからは見えません。重要な要素が2MB以降に置かれていると、認識されない恐れがあります。
Q2: この2MBにはCSSやJavaScriptのファイルも含まれますか？
2MBの上限はHTMLドキュメント本体（HTTPヘッダーを含む）に対する制限です。外部ファイルとして読み込まれるCSSやJavaScriptは別途取得され、それぞれ独自の上限が適用されると説明されています。だからこそ重いコードは外部化が推奨されています。
Q3: この発表で検索順位は変わりますか？
いいえ。これはGooglebotのクロール・取得の仕組みを解説した技術記事であり、ランキングアルゴリズムの変更を告知するものではありません。ただし、重要な要素が取得上限を超えて読まれていなかった場合は、HTML構造を見直すことでインデックスの精度が改善する可能性はあります。
出典：Inside Googlebot: demystifying crawling, fetching, and the bytes we process（2026年3月31日）https://developers.google.com/search/blog/2026/03/crawler-blog-post
