ハードウェア重要度 ★8
AMD Instinct MI325X 256GBでYi 34B Chatは動作するか？ YES - AIは動作する
Yi 34B Chat on AMD Instinct MI325X 256GB? YES - Will It Run AI
Yi-34B·2026/6/20
AI要約
AMD Instinct MI325X 256GB GPUにてYi 34B Chatモデルの動作検証が行われ、Q4_K_M量子化で約211トークン/秒の推論速度が確認されました。必要なVRAMは約50.9GBであり、MI325Xの256GBでは十分な余裕があります。この構成は、インタラクティブな利用やAPIサービス、スケールアウトなど、様々なワークロードにおいてバランスの取れた性能を発揮します。
AI要点
- AMD Instinct MI325X 256GB GPUでYi 34B Chatモデルの動作検証が実施された。
- Q4_K_M量子化で約211トークン/秒の推論速度が確認された。
- 必要なVRAMは約50.9GBで、MI325Xの256GBで十分な余裕がある。
- この構成は、インタラクティブ利用やAPIサービスなど多様なワークロードに適している。
- 200Kのコンテキストウィンドウをサポートし、長文処理能力に優れている。
なぜ重要か
AMD Instinct MI325X GPUで高性能なYi 34B Chatモデルが快適に動作することを示し、AI開発者や研究者にとって、大規模言語モデルの実行に必要なハードウェア要件と性能の目安を提供します。