ImageBind: すべてを束ねる単一埋め込み空間

ImageBindは、画像、テキスト、音声、深度、熱、IMU（慣性計測ユニット）の6つのモダリティを単一の埋め込み空間に結合するMeta AIの研究成果です。画像と他のモダリティのペアデータを用いて学習することで、明示的な教師なしで各モダリティを統合し、クロスモーダル検索や生成タスクにおいて、個別のモダリティに特化したモデルを凌駕する性能を示します。