コーディングエージェントは論文のSOTAを超えられるか NatureBench

コーディングエージェントが、論文で提案された手法を実装し、報告されている最高精度（SOTA）を超えられるかを検証するNatureBenchに関する記事。GitHubのREADME通りではなく、論文の最高精度を超えるという再現性の難しさと、コーディングエージェントの能力限界を探る内容。

• NatureBenchは、コーディングエージェントが論文の最高精度（SOTA）を超えられるかを検証するベンチマークである。
• コーディングエージェントは、論文で提案された手法を正確に再現することに課題があることが示唆されている。
• READMEの指示通りではなく、論文の最高精度を超えることの難しさが指摘されている。
• この検証は、コーディングエージェントの現在の能力限界を探ることを目的としている。