報酬関数の設計フレームワーク：目的から特徴、人間との整合性の取れた報酬関数まで

本研究では、専門家でないユーザーでも、人間の嗜好順序に従う報酬関数を定義・反復できる形式的なプロセスを提示します。自然言語で記述されたタスクに対し、3段階のプロセスを経て線形報酬関数を生成します。

• 非専門家でも人間と整合性の取れた報酬関数を設計できる形式的なプロセスが提案されました。
• このプロセスは、自然言語で記述されたタスクの目的を基本的な目的と測定可能な結果変数に分解し、因果関係を考慮して報酬項を選択します。
• 選ばれた報酬項に対し、選好抽出を通じて重みを決定し、決定論的に矛盾のない実行可能重み領域を維持します。
• 提案手法は、O(n log κ)回の選好クエリで所望の許容誤差まで問題を解くことができます。