LLM推論初出 9/13 05:25
Real-SWE:プライベートな実世界のエンタープライズコードベースでのAIモデルのベンチマーク
Real-SWE: Benchmarking AI models on private, real-world, enterprise codebases
https://hacker-news.firebaseio.com/v02026/9/13
AI要約
Real-SWEは、最先端のAIモデルを、実際の企業のプライベートなコードベースで評価するためのベンチマークです。タスクは、実際の企業のプロダクションコードから抽出され、既存製品の複雑さや文脈を反映しています。企業固有のルールやコーディング規約を理解し、ビジネスに影響を与える変更(請求、税金計算、顧客移行など)を正確に行えるかが評価されます。