【2026年3月】Googlebotの正体とは？クロールで処理される「2MBの壁」をGoogleが解説

何が発表されたか

Google Search Central Blogに、Gary氏による「Inside Googlebot: demystifying crawling, fetching, and the bytes we process（Googlebotの内側：クロール・フェッチと処理するバイトの解明）」と題した記事が掲載されました。テーマは、Googlebotがページを取得する際にどこまでのデータを読み、どこで打ち切るのかという、クロールの基礎的な挙動です。

記事のポイントは大きく分けて、（1）Googlebotは単体のプログラムではなく共有の基盤であること、（2）取得できるバイト数には上限があること、（3）その上限を踏まえたHTML設計の考え方、の3点です。

Googlebotは「集中型のクロール基盤」

まず、Googlebotは1つの独立したプログラムではなく、複数のGoogleサービスが共有する「集中型のクロール基盤（centralized crawling platform）」だと説明されています。Google ショッピングやAdSenseなど数多くのクライアントが、同じ土台となるインフラを通じて、それぞれ別のクローラー名でクロール要求を送っているという構造です。

「Googlebot」という名前は検索向けのクローラーを指しますが、その裏側の仕組みは他のGoogleプロダクトと共通している、と理解しておくとよいでしょう。

取得できるバイト数の上限：HTMLは2MB、PDFは64MB

記事で最も実務に直結するのが、取得（フェッチ）できるデータ量の上限です。原文では次のように示されています。

HTMLが2MBを超えた場合、Googlebotはちょうどその上限で取得を打ち切ります。ダウンロードした範囲は、あたかもそれが完全なファイルであるかのようにインデックス処理やレンダリングへ渡され、上限を超えた部分はGoogleのシステムからは一切見えなくなります。つまり、2MBより後ろに置かれた要素は評価対象にならない可能性があるということです。

レンダリング（WRS）とHTML設計への示唆

取得後、Web Rendering Service（WRS）がJavaScriptを処理し、ブラウザと同じようにクライアントサイドのコードを実行して最終的なページの状態を把握します。WRSはステートレスに動作し、リクエストごとにローカルストレージをクリアするとされています。

この仕組みを踏まえ、記事では次のような設計が推奨されています。

・title・meta・canonical・構造化データといった重要な要素は、HTMLの早い位置（上部）に置く。2MBの打ち切りより後ろに埋もれないようにするためです。

・重いCSSやJavaScriptは外部ファイルに切り出す。外部リソースは別途取得され、それぞれ独自の上限が適用されるため、HTML本体を軽く保てます。

・サーバーの応答時間にも目を配る。

SEO担当者はどう活かすか

実務上のチェックポイントは明快です。まず、自サイトのHTMLソース（レンダリング前の生のHTML）が肥大化していないかを確認します。特に、大量のインラインCSS/JavaScriptや自動生成される巨大なデータ属性で2MBに迫っていないか。ページビルダーやタグの盛りすぎで生HTMLが膨らむケースは珍しくありません。

次に、SEO上重要なタグ（title、meta description、canonical、構造化データ）がHTMLの冒頭付近に出力されているかを確認します。CMSやテーマによっては、これらが本文より後ろに出力される場合があるため、生成後のHTMLを実際に見て並び順をチェックすると安全です。

まとめ

・Googlebotは単体プログラムではなく、複数サービスが共有する集中型クロール基盤である。

・取得上限はHTMLが2MB（ヘッダー含む）、PDFが64MB。上限を超えた部分はGoogleに読まれない。

・重要タグはHTML上部に、重いCSS/JSは外部ファイルへ。生HTMLを軽く保つ設計が有効。

・これはクロール・取得の技術仕様の解説であり、検索順位を直接上下させるアルゴリズム変更の告知ではない。

よくある質問

Q1: HTMLが2MBを超えるとどうなりますか？

Googlebotは2MBの時点で取得を打ち切ります。ダウンロードされた範囲だけがインデックス処理とレンダリングに渡され、それより後ろの内容はGoogleのシステムからは見えません。重要な要素が2MB以降に置かれていると、認識されない恐れがあります。

Q2: この2MBにはCSSやJavaScriptのファイルも含まれますか？

2MBの上限はHTMLドキュメント本体（HTTPヘッダーを含む）に対する制限です。外部ファイルとして読み込まれるCSSやJavaScriptは別途取得され、それぞれ独自の上限が適用されると説明されています。だからこそ重いコードは外部化が推奨されています。

Q3: この発表で検索順位は変わりますか？

いいえ。これはGooglebotのクロール・取得の仕組みを解説した技術記事であり、ランキングアルゴリズムの変更を告知するものではありません。ただし、重要な要素が取得上限を超えて読まれていなかった場合は、HTML構造を見直すことでインデックスの精度が改善する可能性はあります。

出典：Inside Googlebot: demystifying crawling, fetching, and the bytes we process（2026年3月31日）https://developers.google.com/search/blog/2026/03/crawler-blog-post

無料ダウンロード資料

はじめてのSEO 完全ガイド

Web担当になった人が、90日で自走するための実務書

検索エンジンの仕組みから、キーワード選定・記事づくり・技術対応・効果測定、 そしてAI検索時代の打ち手まで。専門用語の知識ゼロの状態から読み始められるよう、用語はすべて本文中で説明しています。

体裁	PDF／A4縦・全109ページ
収録	図解21点、チェックリスト120項目、90日実行プラン、用語集56語

※フォーム送信後、ご入力のメールアドレス宛にダウンロードリンクをお送りいたします。

資料の詳細と目次を見る

こちらのフォームにご記入ください

入力は1分ほどで終わります。

Website

会社名必須

部署名任意

お名前必須

メールアドレス必須

電話番号必須

従業員規模必須 選択してください 1〜9名 10〜49名 50〜99名 100〜299名 300〜999名 1,000名以上

SEOの検討状況必須 選択してください 何から始めるべきか検討中 自社で運用しているが成果が出ていない 外部への委託を検討している 現在の委託先を見直したい 情報収集のみ

プライバシーポリシーに同意する必須

資料をダウンロードする

ご入力いただいた情報は、資料のご送付および当社サービスのご案内のために利用します。