AIに酷評を頼んでも和らぐ理由を先に聞き、プロンプトを2段階で書き直す

LLMに直接的な酷評を求めても、helpfulnessの学習目標が競合し、出力が和らぐ現象を解説。この現象に対し、モデル自身に「なぜ和らいだか」の理由を尋ね、その理由を次のプロンプトに制約として組み込む2段階のプロンプト改善手法を提案。これにより、より断定的で簡潔な出力を引き出す。

• AIに厳しいフィードバックを求めても、helpfulnessの学習済み目標が競合し、出力が和らぐ場合がある。
• この現象は指示の理解不足ではなく、helpfulnessがinstruction-followingを部分的に上回るために発生すると説明されている。
• 対策として、AIに「なぜ出力が和らいだのか」を質問し、その理由を次のプロンプトの制約条件に変換する2段階アプローチが有効とされる。
• AIの自己申告による理由は内省ではなく生成されたテキストであり、その真偽よりも制約変換の材料としての価値が重要である。
• 批判対象が「企画」から「人格」に踏み込むようなharmlessnessの制約は、プロンプトエンジニアリングでは動かせない場合がある。