ペッパーズゴーストで等身大AIホログラムを作った話 - SORA // NEXUS 開発記

VRMアバターをリアルタイム投影する「等身大AIホログラムキャラクター」SORAの制作記録。ペッパーズゴースト技法を用い、顔認識や音声応答が可能なAIエージェントを構築。XR、AI、キャラクター技術に関心のある読者向け。

• VRMアバターをリアルタイム投影する等身大AIホログラムキャラクター「SORA」を自作した。
• 投影にはペッパーズゴースト技法を用い、モニター、アクリル板、暗室で立体映像を実現した。
• Gemini 2.5 FlashとローカルLLM(Gemma)を併用し、APIクォータ切れでも動作するフォールバック機構を実装した。
• 来場者の顔認識、ジェスチャー認識、タイムテーブル自動アナウンス、簡易RAGによるナレッジベース機能を実装した。
• 感情タグによる表情変化、顔認識による来場者識別（再訪者認識）など、インタラクティブな体験を追求した。