Stochastic Weight Averaging (SWA) 論文解説：SGD 軌道の平均化と損失地形

Stochastic Weight Averaging (SWA) の論文解説。SGD軌道の平均化により、訓練損失が収束した解だけでなく、より汎化性能の高いモデルを構築する手法について説明している。

• Stochastic Weight Averaging (SWA) は、SGDの軌道を平均化することで汎化性能の高いモデルを構築する手法である。
• 訓練損失が収束した解だけでなく、より広範な解空間を探索する。
• 損失地形における平坦な領域を見つけ出すことに焦点を当てる。
• バッチサイズや学習率などのハイパーパラメータ調整の必要性を低減させる可能性がある。
• SWAは、よりロバストで汎化性能の高いニューラルネットワークモデルの訓練に貢献する。