最近のCPU推論の状況は？

CPUでのLLM推論に関する近況を問う投稿。AVX2対応のCPU環境で、最適なモデル、量子化、llama.cppのバージョンについて情報交換が行われている。