#GPU2件

AMD、Nvidia Rubin対抗のMI455Xを発表；TSMC 2nm、CoWoS-L需要の増加が見込まれる

AMDは、AI向けに第6世代EPYCサーバーCPUとInstinct MI455X GPUを発表しました。MI455Xは、TSMCの2nmおよび3nm FinFET技術を採用し、CoWoS-Lなどの先進パッケージング技術を駆使して3200億個のトランジスタを集積しています。この戦略的なパッケージング技術の採用は、AMDのロードマップ、特にHPCやエージェンティックAIアプリケーションにおいて重要性を増しており、TSMCのCoWoS-L能力への需要増を予測させていますが、供給は依然として逼迫しており、ASEのようなOSATプロバイダーへの外部委託の可能性も示唆されています。

AMD Instinct MI325X 256GBでYi 34B Chatは動作するか？ YES - AIは動作する

AMD Instinct MI325X 256GB GPUにてYi 34B Chatモデルの動作検証が行われ、Q4_K_M量子化で約211トークン/秒の推論速度が確認されました。必要なVRAMは約50.9GBであり、MI325Xの256GBでは十分な余裕があります。この構成は、インタラクティブな利用やAPIサービス、スケールアウトなど、様々なワークロードにおいてバランスの取れた性能を発揮します。