エージェント初出 9/2 02:59
軌跡を考慮した評価による効率的なSWEエージェントベンチマーキング
Efficient SWE Agent Benchmarking via Trajectory-Aware Evaluation
https://export.arxiv.org/api/query·2026/9/1
AI要約
ソフトウェアエンジニアリングタスクにおけるエージェント評価の効率化手法を提案。エージェントの行動履歴（軌跡）を考慮した評価フレームワーク（PTA-IRT）により、従来の静的な結果のみの評価よりも、エージェントの能力を正確に把握する。
AI要点
- ソフトウェアエンジニアリング（SWE）エージェントの評価コストを削減する「PTA-IRT」フレームワークが提案された。
- PTA-IRTは、結果だけでなく、エージェントの実行軌跡（コード探索、修正、テスト実行のプロセス）も考慮して評価する。
- 軌跡情報を「特権情報」として利用し、キャリブレーションサブセットの選択と能力推定を最適化する。
- 低予算のキャリブレーション下でも、既存のIRTベースラインを上回るスコアとランキング回復性能を示した。
なぜ重要か
PTA-IRTは、SWEエージェントの評価を効率化し、実行軌跡というプロセス情報を取り込むことで、より正確な能力推定を可能にし、エージェント開発の迅速化に貢献する。