バグ発見能力の高いAIは

LLMのバグ発見能力を評価。ChatGPTやClaude Fableはコード生成時のバグが少ない傾向がある一方、Copilotは頓珍漢な回答をすることがあるという仮説を検証。AI同士の評価は自己評価が高くなるため、結果の解釈に注意が必要。

• LLMのバグ発見能力を評価した結果が報告されています。
• ChatGPTやClaude Fableはコード生成時のバグが少ない傾向がある一方、Copilotは頓珍漢な回答をすることがあるという仮説が検証されています。
• AI同士の評価は自己評価が高くなるため、結果の解釈には注意が必要だと述べられています。