ローカルLLMをNPU単体で動かせる「Lemonade Server」をRyzen AI 9 HX 470搭載の「Minisforum AI X1 Pro-470」で試してみた

MINISFORUMのミニPC「AI X1 Pro-470」で、ローカルLLMをNPU単体で推論させる検証が行われました。これによりGPUリソースを解放し、本機の真価を検証したとのことです。

• ローカルLLMをNPU単体で動作させる「Lemonade Server」が、Ryzen AI 9 HX 470搭載PC「Minisforum AI X1 Pro-470」で試されました。
• Minisforum AI X1 Pro-470は、CPUにRyzen AI 9 HX 470を搭載し、複数のM.2 NVMeスロットやOCuLinkなどを備えています。
• NPUでのLLM動作においては、USB 3.0経由のカードリーダーの速度がボトルネックになる可能性が示唆されています。
• AI PCとしての性能は、CPU、NPU、GPUのバランスが重要であり、LLMの動作はNPU単体でも可能であることが確認されました。