リアルタイム音声認識の"精度と遅延"両立を実現するための「AIの確信度」を使った新手法【Nishika 論文サク読み 第22回】

リアルタイム音声認識における精度と遅延のトレードオフ問題を解決するため、AIの確信度を用いて出力タイミングを決定する新しい手法が提案されている。この手法は、オフライン音声認識とリアルタイム音声認識の精度差を埋める可能性を秘めている。

• リアルタイム音声認識における「精度」と「遅延」のトレードオフ問題を解決する新手法を提案。
• AIモデルの「不確実性」を推定し、トークン出力のタイミングを決定するESTRA（Evidential Streaming Transformer）を開発。
• Evidential Deep Learning (EDL) により、単なる確率だけでなく、判断の根拠（evidence）と不確実性を評価。
• 従来手法（Local Agreement）では認識結果の一致を待つ必要があったが、ESTRAは根拠に基づき早期出力が可能。
• 音声入力が増えるにつれて不確実性が減少し、確信度が高まることを利用して、最適な出力タイミングを決定する。