Qwen 3.6 27B、llama.cppでのフラグ/設定

Qwen 3.6 27Bモデルを5090 GPUで動作させた際のパフォーマンス報告。通常80-100 t/sだが、最大コンテキスト長では40 t/s程度になる。主にアプリ開発タスクで使用され、メモリ使用量に注意が必要。

• Qwen 3.6 27Bモデルを5090 GPUで動作させた際のパフォーマンスが報告されている。
• 通常80-100 t/sの推論速度に対し、最大コンテキスト長では40 t/s程度に低下する。
• 主にアプリ開発タスクでの利用が想定されている。
• メモリ使用量に注意が必要であることが示唆されている。