キャプションのテスト：多肢選択式質問応答によるビデオキャプション品質の評価

本研究は、動画キャプション生成の評価方法に関する課題を提示します。既存の評価指標が、単一の正解テキストとの一致度のみに依存し、多様な表現や視点の変化に対応できない問題を指摘します。それを解決するため、複数選択式の質問応答を用いることで、より多角的かつ精緻なキャプション品質評価手法を提案しています。

• 既存のビデオキャプション評価指標は、多様な説明を考慮できず、精度が低いという問題点を抱えている。
• 本研究では、キャプションの「情報忠実度」（顕著な視覚情報の網羅性と事実性）を定義し、新たな評価ベンチマーク「CapQuiz」を提案する。
• CapQuizは、ビデオの内容に関する多肢選択式質問への回答能力に基づいてキャプション品質を評価する。
• CapQuizは、階層的な10種類の質問タイプと24のビデオドメインをカバーし、人間による評価との相関が高い。
• 提案された評価指標「CapF1」は、キャプションの網羅性（CapR）と事実性（CapP）を統合する。