AIセキュリティ何から勉強すりゃええの？その4

この記事は、大規模言語モデルに対する攻撃手法に関する論文の「Weight-based Attacks」のセクションを解説するものです。AIセキュリティの学習を進める上での一助となる内容です。

• LLMへのWeight-based Attacks（重みベース攻撃）手法について解説している。
• BadEdit（重み直接編集）、LoRA（差分編集）、Polished攻撃（蒸留時の毒）、New Output（新規生成）などの手法が説明されている。
• LoRAの汚染対策として、SVDによるスキャンやクリーンデータでの再調整、Gradient control methodなどが提案されている。
• W2SAttackは小規模モデルで毒を作成し大規模モデルへ蒸留する手法、TA²は教師LLMとの思考差分から毒注入方向を算出する手法である。
• AIセキュリティ、特にLLMの脆弱性とその対策に関する最新の研究動向をまとめたものである。