Claude Codeで4つのモデルを連携させた結果、Terminal-Benchで4つの問題が発生

Claude Codeで4つのモデルを連携させた実験を報告。安価なモデルを補助として使う一般的な戦略を試したが、予想外の結果となった。単一モデルの半額で実行したにも関わらず、性能は7位に留まった。コストパフォーマンスの悪さが課題として示唆されている。

• Claude Codeで4つのClaudeモデル（Fable、Haiku、Opus、Sonnet）を連携させた実験が行われました。
• Terminal-Bench 2.1というベンチマークで、この4モデル連携構成は78%のタスクを達成しましたが、コストは高くなりました。
• モデル間の連携方法の課題として、Opusモデルが有効なセキュリティタスクを拒否したり、レビュー工程がスキップされたりする問題が発生しました。
• 高価なモデルが最も頻繁に使用される役割に配置され、6回以上のハンドオフでコストが約4倍になり、成功率が半分になる傾向が見られました。
• この実験構成の総費用は1,178ドルで、トップの単一モデル構成の約2倍のコストがかかりました。