Desktop-Delta Bench：デスクトップGUI遷移をコンピュータ利用モデルは理解できるのか？

この論文は、コンピュータ利用エージェント(CUA)の能力を評価するための新しいベンチマーク「Desktop-Delta Bench」を提案しています。現在のベンチマークはタスク全体の成功率や単一フレームの理解度に焦点を当てていますが、本ベンチマークはGUI遷移における因果関係やタスク関連性の理解度を分離して測定します。これにより、エージェントのより深い理解能力を評価することが可能になります。

• デスクトップGUI遷移の理解度を測るベンチマーク「Desktop-Delta Bench」が提案された。
• コンピュータ利用エージェント(CUA)のタスク遂行能力を、GUI遷移の因果関係理解に焦点を当てて評価する。
• 2,013の人間検証済みインスタンスからなる、マルチアプリ・オフラインステップレベルのベンチマーク。
• 3つの失敗次元（状態検証、ソース追跡、文脈依存制御）をターゲットとする。
• 既存モデルではGUI遷移の理解に一貫したギャップが見られた。