エージェントの推論基盤はワークフローを見ていない、Dyserveが埋める溝

エージェントの推論基盤がワークフローを考慮していない問題を指摘し、Dyserveがその溝を埋める役割を担うことを解説。LLM呼び出しとツール呼び出しを組み合わせたDAG処理の重要性を説く。

• 従来の推論エンジンは、LLM呼び出しを1回と捉えるが、エージェントは計画・ツール利用・検証を含む呼び出しの束（DAG）を生成する。
• エージェントフレームワークと推論エンジンがワークフロー全体を最適化せず、リソース配分に隙間が生じている。
• Dyserveは、ワークフロー全体を1つの整数計画問題(ILP)として解き、モデル選択、検証ポリシー、リソース配分を最適化するサービング層。
• 検証（verifier）を最適化変数に含め、品質とコスト・リスク・クリティカルパス長とのトレードオフを考慮する。
• 負荷変動に対しては、受付時に複数の戦略を用意し、負荷に応じて段階的に適用するアプローチを採用している。