アラインメントと制御のためのメカニズムデザイン

AIエージェントの選好（アライメント）と能力（実行可能行動）が不明な状況下でのメカニズム設計フレームワークを提案。エージェントに正直さと服従を促すメカニズムを設計し、エージェントの行動を制御する。

• AIエージェントの選好（アライメント）と能力が不明な状況下でのメカニズムデザインフレームワークが開発された。
• このフレームワークは、エージェントに正直さと服従をインセンティブ付けするメカニズムを設計する。
• 「one-sided imitation structure」は、能力が隠蔽可能だが偽造不可能であることを前提とし、実装可能なポリシーの特性を明らかにする。
• サンドバギング、アライメントと解釈可能性のトレードオフ、ピア評価、報酬形成などの応用例が検討されている。