ハードウェア初出 8/23 17:25
8台のB300を使用してKimi K3(2.8Tパラメータ)をホスト。92トークン/秒、$190/百万トークン
I hosted Kimi K3 (2.8T parameters) using 8 B300s. 92 tok/s, $190 per million tokens
https://www.reddit.com/r/LocalLLaMA/.rss2026/8/23
AI要約
8基のB300GPUを使用し、Kimi K3(2.8Tパラメータ)をホストした。毎秒92トークン、100万トークンあたり190ドルのコストで運用可能である。
AI要点
- 8基のB300 GPUを用いてKimi K3(2.8Tパラメータ)モデルをホストした。
- 毎秒92トークンという高速な処理能力を達成した。
- 運用コストは100万トークンあたり190ドルと算出されている。
なぜ重要か
大規模モデルを効率的にホストするためのハードウェア構成とコストパフォーマンスのバランスを示すことで、同様のインフラ構築を目指す研究者や開発者に具体的な指針を提供する。