CORA：一貫性指向推論アライメントによるマルチモーダルRLVRにおける思考-回答ギャップの分析と架け橋

マルチモーダル強化学習 with 検証可能報酬（RLVR）における、思考と回答の間の意味的な不整合を解消するための「CORA」を提案します。既存手法が視覚的カバレッジや幻覚抑制に焦点を当てていたのに対し、この研究は思考プロセスと最終的な回答との一貫性を重視し、マルチモーダルLLMの推論能力を向上させます。

• 「CORA」は、マルチモーダル大規模言語モデルにおける思考と回答の不一致問題に着目した手法である。
• この手法は、強化学習（RLVR）の枠組みで、思考プロセスと最終回答の一貫性を高める報酬モデルを導入する。
• 実験では、CORAがタスク性能を向上させつつ、思考と回答の不一致を効果的に軽減することが示された。
• 提案手法は、より信頼性の高い推論結果を生成するための新しいアプローチを提供するものである。