強化学習に用いられるエントロピについて

強化学習における「エントロピー」の概念について解説。情報理論のシャノンエントロピーを方策の確率分布に適用したもので、エージェントの学習進行度を測る指標としての利用法を説明する。

• 強化学習におけるエントロピーは、情報理論のシャノンエントロピーを方策の確率分布に適用したものである。
• エントロピーは、方策が一様分布のときに最大、デルタ分布のときに最小（0）となる「不確実さ」の指標である。
• 強化学習では、エントロピーを最大化する項（エントロピー正則化）を損失関数に加えることで、探索を維持しながら学習を進める。
• エントロピーは、各行動の「自己情報量」にその行動確率を乗じたものの合計として計算される。
• 方策ネットワークの出力（行動確率）から、状態ごとのエントロピーを計算し、ミニバッチ全体で平均を取って学習に利用する。