安価なRadeon 7600でQwen 3.5 35B A3B-Q8_0 ggufを18 token/sで実行する

安価なRadeon 7600 GPU上でQwen 3.5 35B A3B-Q8_0 ggufモデルを18トークン/秒で実行した報告。llama.cppとUbuntu環境での設定が記載されている。

• 安価なRadeon 7600 GPU上で、Qwen 3.5 35B A3B-Q8_0 ggufモデルが18 token/sで動作した。
• llama.cppとUbuntu環境でこのモデルを実行するための設定方法が記載されている。
• 比較的手頃なGPUでも大規模言語モデルを実行できる可能性が示されている。
• 低コストでのLLM実行環境構築の参考情報となる。