論文メモ：Apple MPSデコードの非単調レイテンシを読む

Apple MPSデコードにおける非単調レイテンシ現象を調査した論文の技術メモ。KVキャッシュの相互作用と実行レジームが、生成トークン数と処理時間の関係に与える影響を解説。

• Apple MPS上のLLM推論で、生成トークン数が増えても処理時間が滑らかに増えず、急増後に回復する非単調レイテンシが観測された。
• GPT-2 Mediumモデルでは、特定のトークン数範囲（512〜624）で顕著な遅延が発生し、CPUやNVIDIA T4では見られない現象だった。
• KV Cacheを無効にしても非単調性は残るため、レイテンシの主な原因はキャッシュのみではなく、MPS内部の実行方法の変化にあると推測される。
• この非単調性はdecode処理中に発生しており、prefill処理では問題が見られなかった。