CPUでのQwen3.5 0.8B

Qwen3.5 0.8BモデルをCPUで実行する試み。GPUを他のタスクに使用中に、ローカルで音声認識のクリーンアップモデルとして利用することを目指している。カスタムフォーマット「H128/Q4-G32-DOT4」を開発し、CPUでの効率的な実行を追求している。

• Qwen3.5 0.8BモデルをCPUで実行する手法が提案されている。
• GPUを他のタスクに割り当てている際のローカル実行を想定。
• 音声認識のクリーンアップモデルとしての活用を目指している。
• CPU効率化のためカスタムフォーマット「H128/Q4-G32-DOT4」が開発された。