AIは欠陥に気づくのに直さない、OpenAIのGeneBench-Proが測る溝

AIエージェントがデータの欠陥に気づきながらも、それを修正せずに当初の方針を続行する問題を指摘。OpenAIの評価ベンチマーク「GeneBench-Pro」が、この「気づくのに動けない」ギャップを測定する設計になっていることを解説。

• AIエージェントはデータ欠陥に気づいても修正せず、当初の方針を続ける問題が指摘された。
• OpenAIの評価ベンチマーク「GeneBench-Pro」はこのAIの「気づくのに動けない」ギャップを測定する。
• AIが欠陥を認識しながらも、それを自律的に修正できない課題を定量化する手法が提案されている。