Category · 51ページ目
LLM推論
40件
LLM推論初出 9/8 05:09
CPUでのQwen3.5 0.8B
Qwen3.5 0.8BモデルをCPUで実行する試み。GPUを他のタスクに使用中に、ローカルで音声認識のクリーンアップモデルとして利用することを目指している。カスタムフォーマット「H128/Q4-G32-DOT4」を開発し、CPUでの効率的な実行を追求している。
https://www.reddit.com/r/LocalLLaMA/.rss
LLM推論初出 9/8 02:30
新しいgemma 5ファミリーがQwenの轍を踏まず、「チャットモデル第一」の哲学を維持することを心から願う
Gemma 5ファミリーに対し、「チャットモデル第一」の哲学を維持してほしいという要望。Qwenのようにコード中心のモデルに偏らず、Gemma 4のように人間らしい創造性を持つモデルであってほしいと期待。ベンチマーク競争によるモデルの質の低下を懸念している。
https://www.reddit.com/r/LocalLLaMA/.rss
LLM推論初出 9/8 00:25
Qwen 3.8 27bまたはQwen Flash Nextを実行していますか？
Qwen 3.8 27bとQwen Flash Nextのどちらを好むかについての意見交換。両モデルのパフォーマンスや、MLXにおけるPrefillの改善、推論をオフにした場合の活用方法について議論されている。