棚の空き、鍵の紛失？ Recallはパラメトリック事実性のボトルネック

この論文は、大規模言語モデル（LLM）における「想起」の課題に焦点を当てています。特に、パラメータ化された事実性、すなわちモデルが学習データから事実をどの程度正確に記憶し、出力できるかに着目。想起が不十分な場合、空の棚や失くした鍵のような、具体的な事実の想起が困難になるという問題を提起しています。LLMの信頼性と実用性を高める上での重要なボトルネックを分析し、今後の研究の方向性を示唆する内容です。

• 大規模言語モデル（LLM）の事実誤認は、知識の欠如（エンコーディング失敗）ではなく、知識へのアクセス困難（リコール失敗）が原因である可能性が高い。
• 知識プロファイリングフレームワークを導入し、エンコーディングとリコールを個別に測定する手法を提案している。
• 最先端LLMは多くの事実をエンコードしているが、その多くをリコールするのに苦労していることを発見した。
• 「WikiProfile」というベンチマークを導入し、エンコーディング、リコール、認識を検証する。
• 事実誤認の多くは、棚の空き（エンコーディング失敗）ではなく、鍵の紛失（リコール失敗）として理解すべきだと提唱している。