Claude Opusは人間のNanoGPTスピードラン記録を破るも、真の差は縮まらず

Claude OpusはnanoGPTのスピードラン記録を破りましたが、AI研究の広範なベンチマークでは人間の研究者のペースに追いついていません。 frontier agentsは、新しいアルゴリズムの発明ではなく、主にハイパーパラメータの調整によって進歩しています。

• Claude Opus 4.7がnanoGPTのスピードラン記録で人間の世界記録を上回りました。
• これは、AIがハイパーパラメータ調整などの最適化タスクを実行できることを示しています。
• しかし、より広範なMETR研究では、最先端AIは人間の研究者のペースの10%未満しか達成できていません。
• AIは既存手法のチューニングは得意ですが、新しいアルゴリズムの発明はまだ人間が優位とされます。
• AI研究の自動化におけるAIの能力には限界があることが示唆されています。