AI4AI at Test-Time：HarnessesによるStrong-to-Weak Capability Transfer

蒸留による大規模モデルから小規模モデルへの能力転移は、通常、訓練時に行われます。本研究では、テスト時にこのような転移が可能か、「strong-to-weak scaffolding」という手法で検証します。これは、より強力なモデルが、パラメータ更新なしで、より弱いターゲットモデルの推論を助けるための「ハーネス」を構築するものです。

• テスト時における、強力なモデル(ビルダー)が弱いターゲットモデルの推論を補助する「ハーネス」を構築する、Strong-to-Weak Capability Transferを研究。
• パラメータ更新なしで、ビルダーモデルが生成した推論時ハーネスがターゲットモデルのタスク遂行能力を向上させることを実証。
• 4つの理知的能力ベンチマークで、ターゲットモデルの平均性能を0.49から0.91に向上させる。
• 改善の主な要因は、不安定な推論のコードへのオフロード、ベンチマーク固有ルーティング、厳密な回答形式強制であると分析。
• ビルダーモデルの推論努力がハーネス品質を単調に向上させ、より弱いターゲットモデルが最大の利益を得ることを発見。