ベルマン完全性なしでの適合占有率評価

FOREは、オフラインRLにおける分布シフトを補正する fitted occupancy-ratio evaluation 手法。Bellman再帰のアドジョイントを用いて割引率を特徴づけ、各イテレーションで単一層の密度比目的関数を解く。

• FOREは、オフライン強化学習における分布シフトを補正する手法である。
• ベルマン完全性なしで適合占有率評価を行う。
• Bellman再帰のアドジョイントを用いて割引率を特徴づけ、単一層の密度比目的関数を解く。
• オフラインデータのみで、より頑健な強化学習ポリシーの学習を可能にする。