再分配ベースのコスト推論がSparse Safe Offline RLを改善

安全なオフライン強化学習では、通常、密なコストアノテーションが必要ですが、実際には軌道レベルの停止フィードバックしか得られません。この問題を解決するため、疎な停止フィードバックを密なコストに変換する「RCI」フレームワークを提案します。

• Sparse Safe Offline RLの課題である、不足したコスト注釈を、軌跡レベルの停止フィードバックから密なコストへ変換するRCIフレームワークを提案。
• RCIは、リターン分解を用いたコスト推定により、密なコスト注釈がない状況でも安全なオフライン強化学習を可能にする。
• 提案手法は、CMDPにおける実行可能方策集合と最適ラグランジュを保存し、理論的にも損失がないことを示す。
• 実験では、従来手法と比較して大幅に低い違反率を達成し、異種データセット構成やラベルノイズに対する頑健性を示した。