A3C（Asynchronous Advantage Actor-Critic）を数式と実装で理解する

強化学習手法A3C（Asynchronous Advantage Actor-Critic）について、数式と実装レベルで解説し、分散学習の設計思想を理解する一助とする。

• A3C（Asynchronous Advantage Actor-Critic）は、強化学習におけるActor-Critic手法の一つで、2016年に提案された。
• Actor（方策ネットワーク）とCritic（価値ネットワーク）が協調し、アドバンテージ関数を用いて学習の安定化を図る。
• 「非同期」は、複数ワーカーが別々の環境で同時にサンプルを収集し、共有パラメータを非同期に更新することで学習の相関を薄める。
• 方策損失、価値損失、エントロピー正則化からなる損失関数を使用し、エントロピー項は局所解への早期収束を防ぐ。
• 現代の主流はA2CやPPOに移っているが、分散学習の設計思想を理解する上でA3Cは依然として有用な題材である。