低周波数の罠: Video Language Modelsは単純なイベントブックキーピングに失敗する

ビデオ言語モデルが、単純なイベントのカウント（例：ボールの接触回数）を正確に行えない「低周波トラップ」問題を指摘。既存のベンチマークでは、イベントの数だけでなく、頻度や持続時間、複雑さも混在し、失敗原因の特定が困難である。本研究では、イベントカウントのための新しい評価手法を提案する。

• 既存のビデオ言語モデルは、単純なイベントの記録・追跡（ブックキーピング）に失敗する傾向があることが示されました。
• イベント数と頻度を制御した新しいベンチマーク「trace-grounded parametric profiling」が導入されました。
• Gemini 3.6 Flashは、定常的な状態遷移は12イベント、0.5-1.0 Hzまでカウントできましたが、一過性の瞬きイベントでは信頼できるカウントを示しませんでした。
• イベントの表現方法が、モデルが証拠にアクセスできるかに影響し、カウント数や頻度が増加すると問題が悪化することが判明しました。
• 高カウント・高頻度では、最終的なカウントの正答率は0.2%に過ぎず、真のイベントの18.1%しか復元できませんでした。