TTPO：テスト時ポリシー最適化

TTPOは、テスト時訓練(TTT)を可能にするテスト時ポリシー最適化手法である。従来の多数決疑似ラベルに頼る方法の脆弱性を克服し、モデルの誤りをより効率的に検出し、数学的推論能力の向上を目指す。

• テスト時学習（TTT）が可能な数理推論のための新しい教師なし学習手法「TTPO」を提案。
• 疑似ラベルの誤りに頑健な、非対称な目的関数を設計。
• 合意したロールアウトは蒸留し、不一致のロールアウトはペナルティを与える。
• トークンレベルでの選択により、収束した位置の蒸留を重み付けし、確信度の高い誤りをペナルティ。
• ラベルなしで、教師あり手法と同等の性能を達成し、Qwen3-1.7Bモデルの精度を向上。