AI動画で「口だけ合ってる不気味さ」から抜け出すまでに試したこと

AI動画生成において、音声と口の動きの同期が完璧でも不自然に見える問題に直面し、その原因と解決策を探求した過程を記録。口元だけが動く「不気味の谷」を乗り越えるための試行錯誤を綴っている。

• AI動画生成において、音声と口の形の一致（リップシンク）だけでは不自然さが解消されず、全身の微細な動き（モーションシンク）の同期が重要であることが判明した。
• 口の動きだけでなく、発話リズムに合わせた頭の傾きや肩の動き、重心移動といった「身体の演技」が、AI動画の人間らしさを高める鍵となる。
• 参照動画の動きをそのまま転写すると、AI生成が破綻することがあり、会話のリズムに合わせた微小な重心移動（マイクロモーション）のみを抽出する地道な調整が必要である。
• 自然なAI動画生成には、リップシンク、表情（声のトーンと連動）、モーションシンク（発話リズムと連動）の3層の同期が不可欠とされる。