研究/論文初出 6/24 02:55
確率的サブ勾配法の最終反復に対する新たな限界
New Bounds for the Last Iterate of the Stochastic subGradient Method
https://export.arxiv.org/api/query2026/6/24
AI要約
凸型リプシッツ目的関数に対する確率的サブ勾配法の最終イテレートについて、固定ステップサイズ$η=Θ(1/ ext{√} n)$の場合、$1/ ext{√} n$のオーダーの最適化誤差を証明。既存の限界の$( ext{log } n)$因子を削除。
AI要点
- 凸型リプシッツ目的関数に対する確率的サブ勾配法の最終イテレートについて新たな限界を証明する。
- 固定ステップサイズ$η=Θ(1/ ext{√} n)$の場合、誤差が$1/ ext{√} n$のオーダーであることを示す。
- 既存の限界における$( ext{log } n)$因子を削除することに成功した。
- 確率的サブ勾配法の理論的収束性能に関する理解を深める。
なぜ重要か
確率的サブ勾配法の収束限界を改善することで、より効率的な最適化アルゴリズムの開発に貢献し、機械学習モデルの学習速度向上に繋がる可能性がある。