Ornith-1.0-35B Q3_K_M: 約17 GB VRAM、BF16とのKLDチェック済み

Ornith-1.0-35BモデルをQ3_K_M形式に量子化し、17GB VRAMに収まるようにしたという報告。量子化によるモデルサイズの削減と、BF16との比較検証について。

• Ornith-1.0-35BモデルをQ3_K_M形式に量子化し、約17GBのVRAMに収めたと報告している。
• 量子化により、大規模モデルをより少ないリソースで実行可能になったと説明している。
• BF16形式とのKLD（Kullback-Leibler Divergence）チェックを行い、精度の比較検証を実施したと述べている。
• 量子化されたモデルの性能と、元のモデルとの比較結果についての言及がある。