Gemini API と GPT-SoVITS で作る、リアルタイム日英切り替え可能な バイリンガルAI VTuber 配信システム

Gemini APIとGPT-SoVITSを組み合わせ、リアルタイムで日英切り替え可能なバイリンガルAI VTuber配信システムを構築した事例を紹介。Twitch等のライブ配信でインタラクティブな対話・実況を可能にするフレームワークのアーキテクチャと技術的背景を解説。スターターパッケージも提供。

• Gemini APIとGPT-SoVITSを組み合わせ、リアルタイム日英切り替え可能なバイリンガルAI VTuber配信システムを構築した。
• 配信者の音声や視聴者チャットを受け取り、Geminiで思考、GPT-SoVITSで音声合成し、OBSへ配信する。
• キャラクターの英語と日本語のバイリンガルボイス、マイク通訳バイパス機能、日英リアルタイム翻訳字幕を実装した。
• ソースコードはGitHubで公開され、環境構築を自動化する「スターターパッケージ」も提供されている。