世界を何として表現するか：物体、動画token、複数感覚

画像や動画、複数センサーの情報を単一のベクトルに圧縮する技術について解説。物体ごとの表現や関係性を捉え、未来予測を行うC-SWMなどの手法を紹介している。

• 物体ごとの状態と関係性を学習するC-SWMやSlotAttention、SlotFormerは、物体中心の表現を可能にする。
• 高解像度動画をトークン列に変換し、ピクセルではなく視覚トークンを予測する手法が提案されている。
• 動画の全ピクセル予測は計算コストが高いため、トークン化により効率化を図る。
• 画像、関節角度、接触力など複数感覚を統合し、欠損センサーにも対応可能なマルチモーダル学習が重要。