Model soups 論文解説：Transformer 時代の重み平均

Model soups論文を解説。大規模事前学習済みモデルをファインチューニングする際、選ばれなかったモデルも有効活用する手法として、重み平均によるアンサンブルで精度や頑健性を向上させるアプローチを紹介する。

• 「Model Soup」論文は、複数のfine-tuning済みモデルの重みを平均することで、単一モデルを超える性能を達成する手法を解説。
• ハイパーパラメータ探索で得られた複数のチェックポイント（重み）を利用し、追加学習なしで推論時の性能向上を目指す。
• Uniform Soup、Greedy Soup、Learned Soupといった構築法と、そのアルゴリズムを解説している。
• 重み空間の損失地形と線形補間、そして予測アンサンブルとの関係から、Model Soupが機能する幾何学的条件を考察。
• ImageNetやdistribution shiftの実験結果から、Model Soupの有効性、適用範囲、成立しない条件を分析している。