プロンプトをそのまま2回貼るPrompt Repetitionはなぜ効くのか、Self-Consistencyとの違いから見る

プロンプトを2回貼る「Prompt Repetition」の効果とその理由を解説。CoT不使用時に精度向上をもたらすこの手法は、「instruction dilution」により指示の逐次処理で後半の制約への注意が薄れる問題を、再読させることで解消すると説明。Self-Consistencyとの違いにも言及。

• 「Prompt Repetition」は、同じ指示文を2回連続で入力することでAIの精度を向上させる手法です。
• この手法は、モデルが指示を逐次処理する際に生じる「instruction dilution」（後半の制約が軽視される現象）を緩和します。
• Self-Consistency（複数回の生成結果の多数決）とは異なり、入力側を複製するアプローチであり、計算コストの増加は限定的です。
• 効果は制約条件が3つ以上絡む指示で顕著であり、単純な指示では効果が薄いとされます。
• 推論モデル（CoT）では、モデルが内部で指示を複数回参照するため、Prompt Repetitionの効果は限定的になる傾向があります。