LLM推論重要度 ★9
CritICL: 小規模言語モデルの失敗モードからの推論時弱-強汎化
CritICL: Inference-Time Weak-to-Strong Generalization from Small Language Model Failure Modes
https://export.arxiv.org/api/query·2026/8/27
AI要約
CritICLは、推論時のLLMの失敗モードに構造化されたパターンがあるという洞察に基づき、効率を維持しながら推論能力を向上させる新しい推論時フレームワークである。従来の反復生成や外部検証に依存する方法の限界を克服する。
AI要点
- 小規模言語モデル（LLM）の失敗モードを利用して、推論時の弱-強汎化を実現するフレームワーク「CritICL」を提案。
- LLMの失敗モードはモデルスケール間で構造的なパターンを示すという洞察に基づく。
- 弱モデルから得られた失敗モードを、クリティークベースのIn-Context Learning（ICL）で活用。
- 動的（入力依存）および静的（グローバル）な失敗モードプロファイルの両方をサポート。
- 標準的なICLやテスト時スケーリング手法と比較して、同等以上の性能を、より少ない生成数とトークンコストで達成。
なぜ重要か
CritICLは、LLMの失敗モードを弱点ではなく強みとして活用し、効率的に推論能力を向上させる新しいフレームワークであり、計算リソースが限られる環境での高性能LLMの利用を促進します。