プロンプトインジェクションの次に来る「出力インジェクション」。AIチャットボットを作って35個のバグで学んだ、LLM出力を外部入力として扱う設計

LLM（大規模言語モデル）の出力を外部入力として扱う際のセキュリティリスク、特に「出力インジェクション」の危険性について解説。自作AIチャットボットのセキュリティレビューで発見された35個のバグ、特にクリティカルなHTMLインジェクションの事例から、LLM出力を適切にサニタイズする重要性を説いている。

• AIチャットボット開発において、従来のプロンプトインジェクションに加え「出力インジェクション」という新たな脅威が存在すると指摘している。
• LLMの出力（HTMLなど）を検証せずに画面表示すると、クロスサイトスクリプティング（XSS）につながる脆弱性が生まれる。
• LLMの出力は、ユーザー入力と同様に信頼できない外部入力として扱い、用途に応じた無害化処理（エスケープ、サニタイズ）が不可欠である。
• LLMの出力が次のアクション（URL読み込み等）を駆動する場合、SSRFや間接的なインジェクションのリスクも考慮する必要がある。