llama.cpp PRがGPUで「ホット」なMoEエキスパートをキャッシュ — 8GB VRAMで33 → 56 tok/sを報告

llama.cppのPRにより、頻繁に使用されるMoEエキスパートをGPUにキャッシュする機能が追加された。これにより、特にVRAMが限られている環境での推論速度が大幅に向上する可能性がある。

• llama.cppのプルリクエストにて、GPU上で頻繁に使用されるMoEエキスパートをキャッシュする機能が追加された。
• この機能により、特にVRAM容量が限られている環境での推論速度が大幅に向上する可能性が示されている。
• 8GB VRAM環境で、推論速度が33 tok/sから56 tok/sへと向上したという報告がある。
• Mixture-of-Experts (MoE) モデルの効率的なGPU活用を促進する改善である。