Muonのための符号圧縮: SignMuon, MuonSign、およびエラーフィードバックの限界

SignMuonは、Muonアップデートの通信帯域幅を大幅に削減するため、パラメータごとに1ビット（符号）のみを使用する。これは、通信予算が極めて厳しい状況下で、行列を意識したオプティマイザを直接実行可能にする。SignSGDよりも実用的性能が高い。

• Muon最適化における符号圧縮手法「SignMuon」とその限界、およびエラーフィードバックの効果について研究されました。
• SignMuonはパラメータあたり1ビットで更新を圧縮しますが、線形関数でも発散する可能性が示されました。
• エラーフィードバックを適用しても、SignMuonの勾配圧縮における発散問題は一般的に解決されないことが証明されました。
• 実験では、理論的に発散することが証明されている「LMO後の符号化」が、圧縮された手法の中で最も良好な性能を示すことが示されました。