ツールの呼び出しにおける投機的デコーディング

ツール呼び出しにおける推論の効率化手法として、Speculative decodingが応用されています。これにより、LLMが外部ツールを利用する際の応答速度や精度が向上する可能性があります。