継続学習のためのマルチモーダル教師なし学習における視覚的依存関係を考慮したフレームワーク

本研究は、デプロイされたMLLMがラベルなしストリーミングデータから継続的に進化することを可能にする、マルチモーダル教師なし継続的ポストトレーニング(MU-CPT)という新しいタスクを探求します。既存手法はトークンの視覚的依存性を均一に最適化しますが、本手法はその構造的歪みがクロスモーダル破滅的忘却の指標となることを明らかにします。

• MU-CPT（Multimodal Unsupervised Continual Post-Training）は、展開済みの多モーダル大規模言語モデル（MLLM）がラベルなしデータから継続的に進化することを可能にする新しいタスクである。
• 既存手法はターゲットトークンを均一に最適化するが、本研究ではトークンレベルの視覚的依存関係（VD）が重要であることを発見した。
• VD構造の歪みがクロスモーダル破滅的忘却の指標となり、VDの異質性が新タスク学習の指針となることを明らかにした。
• 提案手法VDA（Visual Dependence-Aware）は、VC-OT（Visually Constrained Optimal Transport）とVMA（Visually Modulated Adaptation）の2つのコンポーネントから構成される。
• VC-OTは忘却を軽減し、VMAは新タスク学習を促進することで、旧タスクの安定性と新タスクの可塑性を同時に維持する。