Value Axis：言語モデルは正しい方向に向かっているかをエンコードする

言語モデルが内部的に現在の軌道の価値を追跡しているかを調査。合成データを用い、Qwen3-8Bの「価値」軸を構築。この軸が、高い/低い自己評価、バックトラッキングの有無、正誤コードを区別することを発見。

• 言語モデルが内部的に現在の軌道の価値を追跡しているかを調査。
• Qwen3-8Bモデルで「価値」軸を構築し、その振る舞いを分析。
• この「価値」軸が、自己評価、バックトラッキング、正誤コードを区別することを発見。
• 言語モデルの内部状態が、単なる予測ではなく、ある種の評価に基づいている可能性を示唆。