エージェントワークロードに実際に重要なものを特定するために、13のモデルを65K-128Kコンテキストでベンチマークしました

13個のLLMを65K-128Kのコンテキスト長でベンチマークし、エージェントワークロードにおいて重要となる要素を調査。結果、プレフィルが最も重要で、KVヘッド数がパラメータ数よりも性能に影響することが判明した。トークン生成速度(tg128)よりもプレフィルの性能がエージェントのタスク遂行能力に直結することが示唆されている。

• 13個のLLMを65K-128Kコンテキスト長でベンチマークした。
• エージェントワークロードにおいて、プレフィル性能が最も重要であることが判明した。
• KVヘッド数がパラメータ数よりも性能に影響を与えることが示された。
• トークン生成速度(tg128)よりもプレフィル性能がタスク遂行能力に直結すると説明されている。