同じコードを11回検査させても、そのCVEは0回だった ― LLMコード検査の再現性を実測する

LLMによるコード検査の再現性を実測し、脆弱性検出における実行ごとの不安定さを指摘。原因の誤診を防ぐための計測基盤の必要性を強調。同じコードを複数回検査してもCVE検出率が低いという実測結果から、LLMのコード検査能力の限界と課題を明らかにする。

• LLMによるコード検査の再現性を実測し、実行ごとの不安定さを指摘。
• 同じコードを11回検査してもCVE検出率は低く、再現性の低さを示した。
• 原因の誤診を防ぐための計測基盤の必要性を強調。
• LLMのコード検査能力の限界と、その実用化における課題を明らかにする。