AdamX: コサイン類似度と勾配降下法の出会い

AdamXという新しい最適化手法を提案。勾配降下法にコサイン類似度を組み込み、更新 magnitude を適応的に制御する。スケーラブルでモデル非依存であり、既存の学習パイプラインに容易に統合可能。初期段階の学習を円滑にするための分散修正スキームも導入。ベンチマークデータセットで競争力のある収束率を達成することを確認した。

• コサイン類似度を適応的メカニズムとして取り入れた新しい一階オプティマイザ「AdamX」を提案した。
• AdamXはスケーラブルでモデル非依存、既存のトレーニングパイプラインに容易に統合可能である。
• 分散修正スキームを導入し、トレーニング初期段階でのよりスムーズな最適化を促進する。
• 様々なベンチマークデータセットとアーキテクチャにおいて、競争力のある収束率を達成することを示した。