#推論速度2件

AMD Instinct MI325X 256GBでYi 34B Chatは動作するか？ YES - AIは動作する

AMD Instinct MI325X 256GB GPUにてYi 34B Chatモデルの動作検証が行われ、Q4_K_M量子化で約211トークン/秒の推論速度が確認されました。必要なVRAMは約50.9GBであり、MI325Xの256GBでは十分な余裕があります。この構成は、インタラクティブな利用やAPIサービス、スケールアウトなど、様々なワークロードにおいてバランスの取れた性能を発揮します。

[117] StanfordとNVIDIAがAIブレークスルーで協力、推論速度を2.4倍に向上

StanfordとNVIDIAが共同で、AIエージェント間のコミュニケーションをテキストベースから「思考」を直接やり取りする潜在空間での再帰的なプロセスに移行させる「RecursiveMAS」という新しい協調フレームワークを発表しました。これにより、推論速度が2.4倍向上し、トークン消費量が75%削減されることが実証されました。