テキストは誤解を招く：音声グラウンデッド対話のための不整合認識推論

音声対話理解において、テキスト情報と音響信号（感情、意図）の不一致を考慮する「Inconsistent-Aware Reasoning」を提案。単一モダリティやトランスクリプトのみに依存しない、音声に根差した推論を目指す。

• 音声対話理解において、テキスト情報が誤解を招く「クロスモーダル不一致」という問題が指摘された。
• この問題を評価するため、テキストと音声の不一致（コンフリクトケース）と一致（コンシステントケース）を含むベンチマーク「ContraTalk」が開発された。
• テキストのみに依存するLLMはコンフリクトケースで精度が大幅に低下したが、音声情報を取り込んだモデルは改善の余地がある。
• 音声情報をテキストで表現した「Audio Twin」フレームワークは、音声根拠に基づいた推論を改善する可能性を示した。