2倍のtk/s (19.4 -> 38.1 tk/s on 1 x MI50) スペキュレーティブデコーディングのような仮説を検証中… ただし、追加のサイドモデルの代わりに、Qwen3.6-27Bをメモリに2つロードしているかのように複数の計算を並行して実行できることを利用 — 小規模クオンタイゼーションは利用可能な全計算能力を使用しない

2X tk/s (from 19.4 -> 38.1 tk/s on 1 x MI50) Playing with a hypothesis like speculative decoding.. but instead of an additional side model, exploiting that I can run multiple computations side-by-side AS IF I had Qwen3.6-27B loaded twice in memory - small quants don't use all the available compute.