AIは、そこにある関数をもう一度書く — RepoExecが測った「依存を再利用する力」

AIが既存のコード資産を再利用せず、関数を書き直してしまう問題点を指摘。pass@kのようなテスト通過率では検出困難な「依存を再利用する力」の欠如を、AIのコーディングにおける静かな困りごととして解説している。

• AIが既存のライブラリ関数を再利用せず、コードを再実装してしまう問題が指摘されている。
• RepoExecは、AIがリポジトリ内の依存関係を理解し再利用する能力を測る新しいベンチマークである。
• RepoExecは「機能的正確性」と「依存関係利用率」の2軸でAIのコード生成能力を評価する。
• コンテキストの「量」よりも「形」がAIの依存関係利用に影響し、中途半端なコンテキストは性能を低下させる可能性がある。
• 現在のAIモデルは、リポジトリの資産を正しく再利用する能力において、まだ十分ではないとされている。