OpenAIが「SWE-Bench Proの約30％が壊れている」と報告、AIのコーディング能力を測るベンチマークに大量の不備

OpenAIがAIのコーディング能力を測るベンチマーク「SWE-Bench Pro」に約30%の不備があると報告。AIの評価方法に関する重要な指摘であり、今後のAI開発に影響を与える可能性がある。

• OpenAIがAIのコーディング能力を測るベンチマーク「SWE-Bench Pro」に約30%の不備があると報告した。
• AIの評価方法における課題と限界が明らかになった。
• ベンチマークの信頼性に対する疑問が呈されている。
• AIのコーディング能力を正確に評価するための改善が必要であることを示唆している。
• 今後のAI開発や評価手法に影響を与える可能性がある。