パラメータから回答へ: LLMは内部知識をどのように取得し使用するか

大規模言語モデル（LLM）が質問に答える際に、内部知識をどのように検索・利用するかを調査。Qwen、Llama、Gemmaモデルを使用し、質問の隠れ状態に対する層ごとの介入を通じて、クエリールーティング情報とターゲット知識への依存度が変化する様子を分析。国・大陸の質問と名詞、形容詞、コードの回答を比較し、モデルの内部知識利用メカニズムを解明する。

• LLMが質問に答える際、クエリールーティング情報とターゲット知識への依存度がどのように変化するかを調査した。
• Qwen, Llama, Gemmaの3つのモデルで、レイヤーごとの介入を通じて知識取得と利用のメカニズムを分析した。
• 質問に答える過程で、ルーティング指示は初期レイヤーで、知識依存は後期レイヤーで重要になることが示された。
• モデルごとに知識取得のタイミングやルーティング効果の持続時間に違いが見られた。