TAKTのモデル構成、動かすとコストは必ず悪化する？ベンチマークスコアベースで5構成比較

AIオーケストレーションツールTAKTで、実装とレビューに割り当てるモデルの強度を変えた場合のトークン消費量、収束速度、コストを検証。ベンチマークスコアに基づき高/中/低の3水準を定義し、中難易度のissueで比較した。

• AIオーケストレーションツールTAKTにおいて、実装・レビュー工程でモデルの強度を変えた際のコスト変動を検証した。
• モデル強度をベンチマークスコアに基づき定義し、5つの構成でトークン消費量、収束速度、コストを比較した。
• 多くの場合、モデル強度を上げても下げてもコストは悪化し、強度変更によるコスト変動は非対称であることが判明した。
• 安価なモデルは、実装工程よりもレビュー工程に割り当てる方がコスト効率が良い可能性が示唆された。
• コスト最適化のためには、モデル強度を単純に上げ下げするだけでなく、工程ごとの特性を考慮した割り当てが重要である。