LLM推論初出 8/6 02:34
DeepSeek V4 Flash 0731、MacBook M5 Pro **64GB***で10-17 t/s(nothink)、一部SSDストリーミング経由
DeepSeek V4 Flash 0731 at 10–17 t/s (nothink) on MacBook M5 Pro **64GB***, partly via SSD streaming
https://www.reddit.com/r/LocalLLaMA/.rss2026/8/6
AI要約
DeepSeek V4 Flash 0731モデルをMacBook M5 Pro (64GB)で、SSDストリーミングを活用しつつ動作させた結果の報告です。モバイルデバイスでの高性能LLMのローカル実行可能性と、その速度(10-17 t/s)を示しています。ハードウェアとソフトウェアの最適化に関する進展です。
AI要点
- DeepSeek V4 Flash 0731モデルがMacBook M5 Pro (64GB)で10-17 t/sの速度で動作した。
- 一部SSDストリーミングを活用し、ローカル環境でのLLM実行性能を示している。
- モバイルデバイスでの高性能LLMのローカル実行可能性と速度に関する具体的なベンチマーク結果が示された。
なぜ重要か
高性能LLMを限られたリソースのモバイルデバイスでローカル実行できる可能性を示し、AIアプリケーションの普及とアクセシビリティ向上に寄与する。