LLM推論初出 9/4 02:59
可読性は解釈可能性ではない：Chain-Of-Thought推論における判断された実際の重要性の比較
Legibility is Not Interpretability: Comparing Judged and Actual Importance in Chain-Of-Thought Reasoning
https://export.arxiv.org/api/query2026/9/4
AI要約
Chain-Of-Thoughtの推論過程の「可読性」と「解釈可能性」を比較。LLM評価者が推論ステップを評価する際に、そのステップの重要度を実際には正確に捉えられていない可能性を示唆。
AI要点
- Chain-Of-Thought（CoT）推論における「可読性」と「解釈可能性」の違いを検証した。
- 推論ステップの重要性を、そのステップがもたらす期待報酬の変化（アドバンテージ）として定義した。
- LLMジャッジは、ある程度の精度で重要ステップを特定できるが、ノイズレベルには及ばない。
- 推論トレースのテキストだけでは、ステップの重要性は部分的にしか復元できないことが示された。
なぜ重要か
CoT推論の可読性が必ずしも解釈可能性を保証しないことを実証し、LLMの推論プロセスを信頼する際の注意点を促す重要な知見を提供した。