AMD GPUにおけるvLLMでの推論処理の最適化

vLLMにおいてAMD GPU上での投機的デコーディングを可能にする技術について解説。推論速度の向上と効率化を目指す。

• AMD GPUにおけるvLLMでの推論処理最適化について解説している。
• Speculative decoding（推測デコーディング）は、複数のドラフトトークンを一度のターゲットモデルパスで検証可能。
• Speculative decodingの効果は、ドラフト手法、提案長、モデルファミリー、ワークロード等に依存する。
• autoregressive decoding（自己回帰デコーディング）のベースラインと、draft-and-verifyのプロセスを解説。
• AMD Instinct™ MI300X/MI355X GPUとROCm™プラットフォームでの実験結果を報告している。