LLM推論初出 6/9 00:51

Xiaomiは、標準的な8-GPUサーバーを使用して1Tモデルで1,000以上のTPSを主張

Xiaomi just claimed 1,000+ tps on a 1T model using a standard 8-GPU server

https://www.reddit.com/r/LocalLLaMA/.rss2026/6/9

AI要約

Xiaomi MiMoが1兆パラメータのMoEモデルで、標準的な8GPUサーバーで1000トークン/秒超えを達成したと発表。カスタムハードウェアやSRAM重視のハードウェアではなく、標準的な構成での高速化は注目に値する。