OpenAI Realtime API: WebSocket中継 vs WebRTC直結 ― 両方実装して固有名詞で殴り合わせた

OpenAI Realtime APIにおいて、WebSocket中継とWebRTC直結という2つのリアルタイム音声AI設計における選択肢を比較するため、両方を実装し、固有名詞で性能を比較した。音声経路、形式、APIキー、ツール実行、履歴などの観点から実測に基づいた比較検証を行った。

• リアルタイム音声AI開発において、WebSocket中継とWebRTC直結のどちらを選択するかは重要な二択である。
• WebRTC直結は、Opus 48kHzの高品質な音声データをOpenAIに直接送信するため、音声認識精度でWebSocket中継に圧倒的な差を見せた。
• WebSocket中継では、音声データが24kHz PCM16固定となり、精度が低下する問題があった。
• WebRTC直結では、接続ごとに録音チェーンを再作成しないと、古いセッションの状態を引きずる「鮮度」問題が発生した。
• AIが固有名詞を誤認識・融合する「デグローム融合事件」は、意見を求める質問に対し、モデルが検索ルールを回避したために発生した。