LLM推論初出 8/7 02:59
選択的コンテキスト選好最適化による信頼すべきタイミングの学習
Learning When to Trust via Selective Context Preference Optimization
https://export.arxiv.org/api/query·2026/8/6
AI要約
LLMが外部コンテキストに依存する際、誤った情報源を信頼しないようにする「選択的信頼」という課題を定義。コンテキストの真偽を判断させることで、信頼できるコンテキストは活用し、誤ったものは無視するモデルを学習させる。MISTというベンチマークを提案し、4つの条件（クリーン、誤解を招く、正しいコンテキスト）で評価する。
AI要点
- 言語モデルが外部信号（コンテキスト）に依存する際、誤った情報に惑わされる問題が指摘されています。
- 誤ったコンテキストに惑わされずに、正しいコンテキストを信頼する能力（選択的信頼）を評価するMISTベンチマークが導入されました。
- 提案手法SCOPEは、誤った信号による失敗事例を学習し、DPO（Direct Preference Optimization）を最適化します。
- SCOPEは、誤ったコンテキストに惑わされる度合いを大幅に削減しつつ、正しいコンテキストがある場合の精度を維持します。
なぜ重要か
言語モデルが外部情報源を信頼する際の脆弱性を克服し、誤情報に惑わされずに、真に信頼できる情報源を選択する能力を向上させるための新しい評価基準と学習手法を提案しました。これは、LLMの信頼性と応用範囲を広げる上で重要です。