ビジネス応用重要度 ★9
成功率を超えて：攻撃・防御セキュリティエージェントのコスト考慮評価
Beyond Success Rate: Cost-Aware Evaluation of Offensive and Defensive Security Agents
https://export.arxiv.org/api/query·2026/7/16
AI要約
セキュリティエージェントの評価に、成功率だけでなくコスト（推論、ツール使用等）を考慮した新指標を提案。攻撃・防御の両面から、運用上の制約下でのエージェントのコスト効率を評価する。
AI要点
- セキュリティエージェントの評価において、成功率だけでなく、コスト（推論、ツール使用など）を考慮した評価手法を提案しています。
- 攻撃（Cybench）と防御（Splunk BOTS）の両方のタスクにおいて、コストと成功率の関係を分析しています。
- 攻撃タスクでは計算コストの増加とともに性能が向上する傾向が見られましたが、防御タスクではツールの使用や的確な判断がより重要であることが示されました。
- コスト効率と運用適合性を含めた評価の重要性を主張し、実用的なエージェントの選定に役立つとしています。
- 本研究の結果は、コストを考慮した評価が、実運用で役立つモデルを特定し、防御エージェントの改善点を示す上で不可欠であることを示唆しています。
なぜ重要か
セキュリティエージェントの評価にコスト効率という新たな視点を導入することで、実際の運用環境での実用性をより正確に判断できるようになり、リソース制約下での効果的なセキュリティ対策の開発を促進します。