Explorative modeling：K個の候補から最良のものを学習する

K個の候補から最良のものを選択し、そのデータセットでモデルを学習させる「Explorative modeling」という手法を提案。これにより、限られた計算資源でも効率的に高精度なモデルを構築できる可能性を示す。

• Explorative Modeling (XM) は、既存生成モデルに第3の事前学習軸を追加する新パラダイム。
• XMは画像、動画、言語生成において、探索を増やすほど既存モデルを単調に改善。
• サンプル効率6.2倍、FLOP効率4.1倍、パラメータ効率47%向上を実現。
• スケーリングによる汎化性能とエンドツーエンド生成能力を向上させる。
• 拡散モデルと比較し、最大256倍少ない推論計算量で同等の制御タスク性能を達成。