LLM推論初出 7/29 09:00
Baba Is YouでKimi K3、Opus 5、Grok 4.5、Gemini 3.6 Flashのベンチマークを実施
Benchmarking Kimi K3, Opus 5, Grok 4.5, and Gemini 3.6 Flash on Baba Is You
https://quesma.com/rss.xml2026/7/29
AI要約
2026年7月リリースのKimi K3, Claude Opus 5, Grok 4.5, Gemini 3.6 Flashの性能を評価する。パズルゲーム「Baba Is You」を基にしたLLMエージェントベンチマーク「Baba Is Bench」を使用し、合格率、速度、コストを比較する。Claude Fable 5とGPT-5.6も比較対象に含まれる。
AI要点
- Kimi K3, Grok 4.5, Gemini 3.6 Flash, Claude Opus 5のベンチマークを実施した。
- パズルゲーム「Baba Is You」でエージェントの性能を評価した。
- Claude Opus 5は全問題正解かつ比較的安価だった。
- Kimi K3はOpus 5より安価でほぼ同等の正解率を示した。
- Gemini 3.6 Flashは前モデルより高価で効率も改善されなかった。
なぜ重要か
最新の大規模言語モデル（LLM）群を「Baba Is You」というゲームで評価した結果、Claude Opus 5とKimi K3の性能とコストパフォーマンスの高さが示され、モデル選択の参考情報を提供する。