ハードウェア初出 8/4 20:08
DeepSeek v4 Flash 0731、M5 Air 32GBでプリフィル約50tps、デコード約1tps
DeepSeek v4 Flash 0731 4bit ~50tps prefill, ~1tps decode on M5 Air 32gb
https://www.reddit.com/r/LocalLLaMA/.rss2026/8/4
AI要約
DeepSeek v4 Flash 4bitモデルをM5 Air 32GB環境で実行した際のパフォーマンス（プリフィル約50tps、デコード約1tps）に関する報告です。ストリーミングエキスパートなどの最適化手法が試されています。
AI要点
- DeepSeek v4 Flash 4bitモデルのM5 Air 32GB環境でのパフォーマンスが報告された
- プリフィル処理で約50tps、デコード処理で約1tpsの性能が観測された
- ストリーミングエキスパートなどの最適化手法が適用されている
なぜ重要か
限られたハードウェア環境下での大規模言語モデルの実行性能に関する具体的な数値は、エッジAIデバイスでのLLM活用や、さらなるモデル・ハードウェアの最適化開発における重要な指標となり、AIの普及を加速させるため重要です。