LLM推論初出 5/25 12:01
これらの結果について説明していただけますか?
Could someone please help explain these results?
https://www.reddit.com/r/LocalLLaMA/.rss2026/5/25
AI要約
Qwen3.6-35Bモデルをllama.cppのTurboQuant variantで、12GB VRAMと32GB RAM環境で実行した際の推論結果について考察しています。CPU-MoEの値を変更した際の推論速度の変化について、直感に反する結果に疑問を呈しています。