AIセキュリティに関する論文メモ4〜プロンプトの優先度問題〜

LLMにおけるプロンプトの優先度問題について論文（The Instruction Hierarchy）を解説。システムプロンプトとユーザープロンプトを区別しないLLMの性質と、SQLインジェクションの解決策との比較を論じる。

• LLMにおいて、システムプロンプトとユーザープロンプトを区別せず、同一優先度として扱う性質（プロンプトの優先度問題）が指摘されています。
• この問題は、SQLインジェクションのように、ユーザー入力が特権命令として扱われてしまうリスクがあると説明されています。
• 論文では、システムプロンプトに高優先度、ユーザープロンプトに中優先度、モデル出力やツール取得情報に低優先度を付与する階層構造を提案しています。
• 訓練データ作成では、低優先度の命令に矛盾しない限り許容し、矛盾する場合は無視または拒否する方策を学習させます。
• この手法は、インジェクション攻撃を防ぐ一方で、ユーザーの意図したプロンプト実行能力を低下させる有用性の低下や、実装コストという犠牲を伴います。