LLM推論2本の記事が同じ件を報じた初出 5/28 00:42
KVキャッシュ量化ベンチマーク:q5 & q6は過小評価、q8/q4は不良、TCQにはニッチがある
KV cache quant benchmarks: q5 & q6 are underrated, q8/q4 is bad, TCQ has a niche
https://www.reddit.com/r/LocalLLaMA/.rss2026/5/28
AI要約
KVキャッシュ量子化のベンチマーク結果を報告しています。Q5とQ6は評価が高く、Q8/Q4は低評価、TCQにはニッチな用途があるとしています。Qwen 3.6 27Bの3つの設定で38の量子化ペアをテストし、キャッシュ量子化が精度に与える影響を分析しています。