世界モデルが長い未来を予測し、良い行動を選ぶまで

世界モデルを活用し、エージェントが長期的な未来を予測し、最適な行動を選択するプロセスを解説。単に状態を予測するだけでなく、未来の良さを評価し、複数の行動候補を比較検討し、方策そのものを学習する「想像力」の重要性を強調する。Long Horizon, Reward/Value, Planning, Imagination RLの概念を統合的に扱う。

• 長い未来を予測する世界モデルにおいて、1ステップの予測誤差が積み重なるcompounding error問題が存在する。
• 未来の良さを評価するためにReward、Value、Continuationの概念が重要であり、これらが意思決定を可能にする。
• PlanningはWorld Model内で行動候補を比較し、Imagination RLはWorld Model内でActor-Criticを学習させる。
• World Modelの予測が誤っている場合、PlanningやPolicyも誤った方向に最適化されるリスクがある。