自己ラベルと学習アルゴリズム ― 多数決で擬似正解を作り GRPO/ADPO で重みを更新する【プロンプトで読み解くAIエージェント #11

連載「プロンプトで読み解くAIエージェント」第11回。自己ラベルと学習アルゴリズムに基づき、多数決で擬似正解を生成し、GRPO/ADPOで重みを更新する学習ループについて解説。AIエージェントの内部構造と学習メカニズムに関心のある読者向け。

• AIエージェントの学習ループにおける「自己ラベル付け」と「学習アルゴリズム（GRPO/ADPO）」を解説する。
• 実在するAIエージェントOSSのコードとプロンプトを引用し、学習の仕組みを読み解く。
• 「Zero Data」を実現するため、解答役の複数サンプルから多数決で擬似正解を生成する手法を用いる。
• 出題役（Curriculum Agent）と解答役（Executor Agent）の共進化によって学習が進む。
• 「実行型自己改善」と「学習型自己改善」の違いを、コードレベルで対比させながら明確にする。