LLM推論初出 6/9 02:58

LLM RLにおける発散正則化の再考

Rethinking the Divergence Regularization in LLM RL

https://export.arxiv.org/api/query2026/6/9

AI要約

LLMのRLにおけるオフポリシー学習の安定化に不可欠な信頼領域制御について、PPOやGRPOのクリッピング機構が長尾分布で不十分である点を指摘し、代替手法を検討。