AIに何回ダメ出ししたかを測る、対話型ベンチSWE-Together

SWE-benchのような従来のベンチマークでは測れない、AIエージェントとの対話における「ダメ出し回数」を計測する対話型ベンチマークSWE-Togetherを紹介。6月に発表されたこのベンチマークは、実際の開発体験に近い評価を目指す。

• AIコーディング支援の評価に、静的なコード採点だけでなく、対話の摩擦（手戻り回数）を測る「SWE-Together」を提案。
• SWE-Togetherは、実際のユーザーとエージェントのセッション記録から生成された109タスクで評価を行う。
• 「User Correction」という指標で、AIに何回ダメ出し（correction）や軽い催促（nudge）が必要だったかを数値化する。
• 強力なモデルほどUser Correctionの値が小さく、直感通りの強い逆相関が確認された。
• 評価系をまるごとLLMで回す構成（ユーザーシミュレータ、採点者もLLM）となっている。