RLは推論を教えていない — トークンの1-3%を修正するだけでRLと同等の性能を達成するReasonMaxxer

LLMの推論能力向上における強化学習（RL）の役割について、従来の仮説を覆す研究論文を紹介。RLが推論戦略を直接教えるのではなく、限定的なポリシー選択に過ぎない可能性を示唆し、トークン修正による同等の性能達成を論じる。

• 強化学習(RL)はLLMの推論能力を獲得させるのではなく、既存の解法パスから正しいものを選ぶだけだと論文は主張している。
• RLによるモデル修正は全トークンの1-3%に限定され、修正されるトークンは常にベースモデルのTop-5候補内に存在することが分析で示された。
• RLの効果の大部分は、モデルが迷う高エントロピーの分岐点におけるトークン選択に起因し、ベースモデル自身のエントロピーで位置特定が可能とされる。
• RLを使わない手法ReasonMaxxerは、RLと同等以上の性能を、わずか50問の学習と数分の計算コスト($4-25)で達成できると提案されている。