コールセンターの生成AIをレッドチームで評価する｜文字起こし・要約に潜むセキュリティリスク

コールセンターにおける生成AI活用のセキュリティリスクに焦点を当てた記事。通話内容の文字起こし、要約、問い合わせ分類、オペレーター支援などに生成AIが導入される中で、業務効率化だけでなく、新たなセキュリティ上の課題が生じる可能性を指摘しています。レッドチームによる評価の重要性を示唆しています。

• コールセンターの生成AI活用におけるセキュリティリスクをレッドチーム視点で評価。
• 顧客の発話が文字起こしされ LLM に入力される経路での攻撃可能性を指摘。
• Prompt Injection、システムプロンプト漏洩、個人情報漏洩のリスクを検証。
• 他顧客情報へのアクセスや要約結果の改ざん、CRM 等への攻撃可能性も指摘。
• LLMだけでなく、通話・文字起こし・CRMを含む業務フロー全体を攻撃対象と捉える必要性。