LLM推論重要度 ★9
同じ軌跡、矛盾した報酬（ROBORMBENCH）：視覚言語報酬モデルにおける言い換えの脆弱性
Same Trajectory, Contradictory Rewards (ROBORMBENCH): Paraphrase Fragility in Vision Language Reward Models
https://export.arxiv.org/api/query·2026/9/4
AI要約
ROBORMBENCHは、ロボット学習におけるビジョン言語報酬モデルのパラフレーズの脆弱性を評価するベンチマークである。同じ軌跡に対して、意味的に等価な指示でも報酬が大きく変動したり、成功と失敗が反転したりする現象を測定し、モデルの頑健性を評価する。
AI要点
- ロボット学習における視覚言語報酬モデルの言い換えに対する脆弱性を調査した。
- 同じ軌跡でも、指示の言い換えによって報酬スコアが大きく変動し、成功/失敗が反転する現象を発見した。
- ROBORMBENCH ベンチマークを提案し、2,390の軌跡と21,673の言い換えを用いて脆弱性を測定した。
- 既存の VLM 報酬モデルでは、言い換えに対する不安定性が広範かつ深刻であることが示された。
- 軌跡に基づいた教師あり学習で訓練された報酬モデルは、より安定した性能を示した。
なぜ重要か
ロボット制御における VLM 報酬モデルの信頼性に関わる重要な問題点を指摘し、指示の言い換えに頑健なモデル開発の必要性を示唆する。これはロボット学習の安全性と実用性に直結する。