RetroThinker: Speech LLMにおける回顧的思考の実現

音声LLM（SpeechLLM）が遅延を減らし、通常失われるパラ言語的ニュアンスを保持できることを示唆。しかし、複雑な推論タスクではテキスト専用LLMに遅れをとる。Chain-of-Thought（CoT）や並列推論を用いた先行研究もあるが、本研究では「遡及的思考」を可能にするRetroThinkerを提案し、SpeechLLMの推論能力向上を目指す。

• 音声LLM(SpeechLLM)における推論過程を動的に修正するフレームワーク「RetroThinker」を開発した。
• 推論中にChain-of-Thought (CoT)ステップを自己検証し、前方修正することで精度を向上させる。
• キュレーションされたレトロスペクティブ思考データを用いた教師ありファインチューニングとDPOを組み合わせる。
• GSM8Kベンチマークで、同程度のレイテンシで精度を11%向上させることに成功した。