何が起きたか:ボトルネックは「保持」ではなく「想起」だと示された
Search Engine Journalの記事が伝えているのは、Googleの研究チームが、LLMのパラメトリック情報(学習時に重みへ符号化された情報)について、符号化(encoding)と想起(recall)を分けて測る枠組みを提示した点です。従来の事実性評価はすべての誤りを同じように扱うため、失敗が「知識が無い」ことに由来するのか、「符号化済みの事実にアクセスできない」ことに由来するのかが区別できませんでした。
記事が論文から引用している中核の記述は次のとおりです。「符号化は飽和しているが、想起はしていない。Gemini-3-ProやGPT-5のようなフロンティアLLMでは、事実の符号化は飽和に近く、95〜98%の事実が符号化されている。しかしこれらのモデルは事実の26〜34%を直接想起できず、思考を使っても11〜12%は失敗する(“Encoding is saturated; recall is not. For frontier LLMs such as Gemini-3-Pro and GPT-5, factual encoding is near saturation, with 95-98% of facts encoded. Yet these models fail to directly recall 26–34% of the facts, or 11–12% even with thinking.”)」。記事はこれに続く一文として、想起の失敗がGPT-5.2の誤りの70%以上を占め、より強いモデルではその比率が大きくなる、という記述も引用しています。
この研究の位置づけを補足すると、論文のタイトルは「Empty Shelves or Lost Keys? Recall Is the Bottleneck for Parametric Factuality(空の棚か、失くした鍵か――想起がパラメトリック事実性のボトルネックである)」で、arXivでの登録番号は 2602.14080、著者は Nitay Calderon、Eyal Ben-David、Zorik Gekhman、Eran Ofek、Gal Yona の5名です。arXivの投稿履歴では初版が2026年2月15日、第2版が同年6月19日。Google Researchのブログでの解説記事は2026年8月12日付で、執筆者は Nitay Calderon 氏と Gal Yona 氏(Google Research のリサーチサイエンティスト)となっています。なお編集部でarXivの要旨(第2版)を確認した限りでは、上記のうちGPT-5.2に関する一文は要旨には含まれておらず、Search Engine Journalが論文本文から引用したものとみられます。
枠組み:符号化・想起・認識を分けて測る「知識プロファイリング」
Google Researchのブログによれば、この枠組みは knowledge profiling(知識プロファイリング)と呼ばれ、分析の単位を「個々の質問」から「個々の事実」へ移します。ある質問に正答したかではなく、その事実がどの状態にあるかを問う設計です。事実は5つのプロファイルに分類されます。(1)符号化の失敗、(2)想起の失敗、(3)直接想起、(4)思考を伴う想起、(5)符号化なしの推論です。
用語の定義も明確に置かれています。符号化は、事前学習に似た文脈でその事実を正しく再現できること。知識(knowing)は、直接質問と逆質問の双方を含む、言い回しの異なる意味的に等価な質問に正しく答えられること。想起は、外部の手がかりなしに符号化済みの事実を知っていること。そして認識(recognition)は、選択肢の中に正解が提示されたときにそれを識別できることです。ブログは(5)について、思考が有効な場合にのみ生じ、他の符号化済み事実に依拠した多段推論や当て推量による、と説明しています。
ベンチマーク:Wikipedia由来2,150事実、13モデル、約450万応答
評価に用いられたのは WikiProfile という新しいベンチマークです。Google Researchのブログによると、Wikipediaのページから事実を抽出して構築されており、事実は「主語と目的語という順序付きの実体の対を含む命題で、主語が文書内で先に現れるもの」と定義されます。各事実には10のタスクが紐づけられ、内訳は符号化の測定に2つ、知識の評価に4つ、認識のための選択式が4つです。
構築は Gemini-2.5-Pro(思考あり)を用いた全自動パイプラインで行われ、直接質問と逆質問は生成・洗練・フィルタリングの3段階を経て、曖昧でなく、具体的で、最小限で、答えが一意になるよう調整されています。フィルタリングは検索エンジンに基づいて行われ、複数の答えが返る場合や確認が必要な場合は破棄。自動フィルタと最終的な人手検証を経て、ベンチマークは2,150事実で構成されています。
評価対象は13のLLMで、各モデルを思考あり・なしの両方で評価し、モデル・事実・タスクの組み合わせごとに8つの応答をサンプリング。採点はプロンプトで指示したLLM採点者(autorater)が自動で行い、応答数は約450万件に達したとブログは記載しています。arXivの要旨では「13のLLMからの400万応答にわたって」と表現されており、数え方によって若干の差があります。
なぜ想起が失敗するのか:主語と目的語の順序
記事が「興味深い発見」として紹介するのが、想起の失敗が「その事実が学習された条件」と強く結びついている点です。事実に関わる主語の実体と目的語の実体は特定の順序で学習されており、その順序を逆にした質問を投げると、LLMは想起に苦労します。
論文の定義は明快です。「主語と目的語の役割は、その事実が抽出された元テキスト(例:Wikipedia文書)によって決まる。主語はテキスト内で最初に現れる実体で、目的語はその後に現れる(“the subject is the entity that appears first in the text, and the object appears subsequently”)」。そして「答えが目的語である質問を直接質問(direct question)と呼び、答えが主語である質問を逆質問(reverse question)と呼ぶ」と続きます。
Googleの解説が用いている例は「Oasis played their first gig at the Boardwalk club.(オアシスは最初のライブをボードウォーク・クラブで行った)」です。ここで「Oasis」が主語の実体、「the Boardwalk club」が目的語の実体になります。この対がつねにOasisを先頭にして現れる場合、主語と目的語を逆にした質問――つまり「ボードウォーク・クラブで最初のライブを行ったのは誰か」に相当する問い――でLLMは事実を想起できなくなる、という構図です。
さらに重要なのは、逆にした主語・目的語を選択式の選択肢の中に提示すると、LLMはその事実を認識できるという点です。記事は、研究者たちがなぜ選択式なら認識できるのかを説明していないと明記したうえで、これを「答えはLLM内に符号化されており、認識可能である」証拠として用いていると整理しています。Google Researchのブログはこれを「反転の呪い(reversal curse)は想起の問題である」と結論づけ、生成タスク(閉じた本での回答)では逆質問が一貫して難しい一方、選択式の検証では逆質問は直接質問より難しくなく、しばしば容易だと述べています。
言い換えは効かず、ロングテールの事実ほど出てこない
研究者たちは、質問を言い換えるとフロンティアLLMの想起能力が変わるかも検証しています。記事によれば、言い換えはモデルの想起能力に有意な影響を与えませんでした。効いたのは主語・目的語の順序の反転だけです。
もう一つの発見はロングテールの事実(研究者の表現では rare facts)です。人気の高い事実と稀な事実の間で、符号化の差は小さい一方、想起の差は大きくなります。Google Researchのブログは、人気度の下位20%と上位20%を比較した結果として、符号化率の差は小さく、直接想起率の差は大きいと報告しています。つまり多くの稀な事実は、モデルのパラメータから欠落しているのではなく、存在しているが取り出しにくい状態にあるという整理です。ブログはこれを「ボトルネックは知識の獲得から利用へ移った」と表現しています。
規模の拡大についても同様の傾向が示されています。Gemma 3ファミリーでは、大きいモデルほど符号化の失敗は大幅に減る一方、想起の失敗は残り続け、残った誤りの中で占める割合はむしろ大きくなります。記事は「フロンティアLLMのスケーリングは想起問題の解決策ではない」と研究者が述べている点を伝えています。
検証された対策:思考(thinking)は想起できない事実の40〜65%を回復する
研究チームが検証した対策は「思考」です。記事によれば、LLMは直接想起できなかった符号化済み事実の40〜65%を、思考を用いることで想起できました。Google Researchのブログはこの数字を「思考に最適化されたLLMにおいて、符号化されているが直接には知られていない事実の約40〜65%を回復する」と記述し、対照として符号化されていない事実では5〜15%にとどまるとしています。つまり思考は、複雑な多段推論で答えを導くというより、すでに符号化済みの事実へのアクセスを助ける「想起の補助」として働いているという解釈です。
ただし欠点も明記されています。思考は計算コストが高いこと、そして「いつ思考を発動すべきかを知る」という別の問題が残ることです。ブログの結論部は、符号化がすでに飽和に近いのであれば、事実性の次の改善はモデルサイズやデータのスケーリングよりも、すでに符号化されている知識の利用方法の改善から来る可能性があるとまとめています。
SEOへの含意:順序の話は「仮説」であり研究の結論ではない
ここは慎重に扱う必要がある部分です。記事は主語・目的語の順序について、SEOの観点からの直感として「クエリで最も一般的に使われる順序に合わせて実体の対を並べるのが有益かもしれない」と述べています。しかし同時に、これは論文の発見ではなく、証明されたものでもないと明記しています。
記事の原文はこう続きます。「論文は、これらの実体を一般的な順序で並べることがLLMに特定のウェブページを選ばせる助けになるとは述べていないが、SEOの観点からは妥当な仮説である」。つまり「エンティティの語順を最適化すればAI検索で選ばれる」という主張は、現時点で出典に基づかない断定になります。社内提案や記事で扱う際は、仮説として提示するのが妥当です。
研究の内容から確度をもって言えるのは、次の点です。LLMが自社や自社製品に関する事実を答えられなかったとしても、それは必ずしも「学習していない」ことを意味しません。研究の枠組みでは、知識が符号化されていながら想起に失敗する状態が明確に区別されており、フロンティアモデルではこの想起失敗こそが主要な誤り要因だとされています。そして選択式で提示すれば認識できる、思考を有効にすれば4〜6割は回復する、という性質があります。
今日からできる確認手順
自社の実体(ブランド名・製品名・所在地・受賞歴など)について、次のような確認は今日から実行できます。第一に、同じ事実を「直接質問」と「逆質問」の両方向で尋ね、回答の正確さに差が出るかを記録します。たとえば「A社の主力製品は何か」と「その製品を出しているのはどの会社か」を対にして投げる形です。差が大きい場合、その事実は片方向でしか想起されていない可能性があります。
第二に、思考(推論)モードの有無で同じ質問を投げ、回答が変わるかを見ます。思考ありで正答するなら、研究の枠組みでいう「符号化はされているが直接想起に失敗している」状態に近いと解釈できます。第三に、選択式で提示して認識できるかを確認します。「次のうち正しいのはどれか」の形で選択肢を与えると認識できる場合、知識の欠落ではないと判断する材料になります。
これらはあくまで自社での実測であり、モデルの内部状態を直接観測するものではありません。回答はセッションや設定で変動するため、1回の結果で結論を出さず、複数回・複数モデルで記録することが前提になります。
所感
Scale Basics編集部としては、この研究の実務的な価値は「AIが自社について正しく答えない」という現象の原因分解にあると考えています。現場ではこの症状に対して、被リンクや言及を増やす、Wikipediaに載せる、llms.txtを置くといった「情報を追加する」方向の対策が反射的に選ばれがちです。しかしフロンティアモデルでは事実の95〜98%が既に符号化されており、誤りの主因は想起の失敗だとされているのであれば、追加投入の効果は想定より小さい可能性があります。まずは自社の事実が「持たれていないのか、取り出せていないのか」を切り分けるほうが、投資判断としては筋が通ります。
一方で、エンティティの語順を最適化してAI検索での選ばれ方を改善する、という話には現時点で証拠がありません。記事自身が仮説であると明記している以上、これを施策として販売したり、効果を約束したりするのは避けるべきです。書き手として実践できるのは、主語と目的語の関係を一方向の文だけで済ませず、双方向から書くこと――製品から会社を辿れる記述と、会社から製品を辿れる記述の両方をページ内に置くこと――くらいでしょう。これは研究が示した「逆質問での想起が弱い」という性質に対して自然な対応であり、読者にとっても理解しやすい構成になります。
数値の扱いにも注意が必要です。95〜98%や26〜34%という値は、Wikipedia由来の2,150事実というベンチマーク上での結果であり、あらゆるドメインの事実に一般化できるものではありません。論文自体はarXivで2026年2月に初版が公開され6月に改訂されたもので、Google Researchのブログ解説が8月12日に出たことで注目された、という時系列も押さえておくと、「新しい発見が今週出た」という誤読を避けられます。
まとめ
・Googleの研究は、フロンティアLLM(Gemini-3-Pro、GPT-5)が検証対象の事実の95〜98%を符号化しながら26〜34%を直接想起できず、思考を用いても11〜12%は失敗すると報告した
・想起の失敗要因の一つは、学習時に出会った主語・目的語の順序を逆にした質問であり、選択式で提示すればモデルは同じ事実を認識できるため「反転の呪い」は想起の問題だと整理されている
・質問の言い換えは想起に有意な影響を与えず、稀な事実(ロングテール)は符号化率の差は小さいが想起率の差が大きい
・思考(thinking)は、符号化済みだが直接想起できない事実の40〜65%を回復する一方、符号化されていない事実では5〜15%にとどまり、計算コストと発動判断の課題が残る
・「クエリで一般的な順序に実体を並べるとよい」というSEO上の示唆は論文の発見ではなく仮説である、と記事自身が明記している
よくある質問
Q1: この研究は「AIに載るには情報量を増やせばよい」という考え方を否定していますか?
否定はしていませんが、前提を変える内容です。研究はフロンティアLLMにおいて事実の95〜98%が符号化されている一方で26〜34%が直接想起できないと報告し、誤りの主因を想起の失敗に位置づけています。したがって「学習されていないから答えられない」と決めつける前に、符号化されているが取り出せていない状態かどうかを切り分ける必要があるという示唆になります。
Q2: 主語と目的語の順序をクエリに合わせて書けば、AI検索で選ばれやすくなりますか?
現時点でその主張には出典がありません。Search Engine Journalの記事は、実体の対をクエリで最も一般的な順序に合わせて並べるのが有益かもしれないという直感を紹介しつつ、それは論文の発見ではなく証明されたものでもないと明記しています。研究が示したのは、逆順の質問では想起が難しいという性質までであり、特定のウェブページが選ばれやすくなるという因果は述べられていません。
Q3: 思考(thinking)を有効にすれば事実の誤りは解決しますか?
部分的な改善にとどまります。研究では、符号化済みだが直接想起できなかった事実のうち40〜65%が思考によって想起できた一方、符号化されていない事実では5〜15%でした。加えて思考は計算コストが高く、いつ発動すべきかを判断する方法自体が未解決の課題として挙げられています。
出典:Google: Subject/Object Entity Order Affects AI Answers(Search Engine Journal、Roger Montti氏、2026年8月17日)https://www.searchenginejournal.com/google-subject-object-entity-order-affects-ai-answers/586089/
参考:Empty shelves or lost keys? Recall is the bottleneck for parametric factuality(Google Research ブログ、2026年8月12日)https://research.google/blog/empty-shelves-or-lost-keys-recall-is-the-bottleneck-for-parametric-factuality/
参考:arXiv:2602.14080 Empty Shelves or Lost Keys? Recall Is the Bottleneck for Parametric Factualityhttps://arxiv.org/abs/2602.14080
