AMD Instinct MI325X 256GBでYi 34B Chatは動作するか？ YES - AIは動作する
AMD Instinct MI325X 256GB GPUにてYi 34B Chatモデルの動作検証が行われ、Q4_K_M量子化で約211トークン/秒の推論速度が確認されました。必要なVRAMは約50.9GBであり、MI325Xの256GBでは十分な余裕があります。この構成は、インタラクティブな利用やAPIサービス、スケールアウトなど、様々なワークロードにおいてバランスの取れた性能を発揮します。