LLM推論重要度 ★10
知るには十分な校正、行動するには校正不足：偽造証拠はLLM Agentに未知のものをコミットさせる
Calibrated Enough to Know, Not Calibrated to Act: Fabricated Evidence Makes LLM Agents Commit to the Unknowable
https://export.arxiv.org/api/query·2026/8/27
AI要約
LLMエージェントが、たとえ偽の証拠（市場パネル）を提示された場合でも、不確実な予測に対して確信を持って回答してしまう現象を実証。LLMの過信と、提示される情報による判断への影響を指摘。
AI要点
- LLMエージェントは、専門的に見える市場パネル提示により、予測不能な質問に対して確信度を持って回答する割合が大幅に増加した。
- 提示されたパネルの数値が全て捏造された場合でも、エージェントの回答確信度は統計的に有意に上昇した。
- 確信度の上昇は情報そのものではなく、提示形式の権威性に起因する。
- この問題は特定のモデルに集中しており、訓練可能な「行動/不行動ゲート」の不備が原因であると特定された。
なぜ重要か
LLMエージェントが提示情報の真偽ではなく形式に影響され、誤った判断を下すリスクを示唆しており、実運用における信頼性確保に課題があることを示している。