Quantization-Aware DistillationによるLFM2.5 Q4_0チェックポイント

LLM2.5のQ4_0チェックポイントは、量子化認識蒸留によって生成されます。これにより、モデルの効率性が向上し、推論速度の向上が期待できます。低ビット精度での量子化を考慮した蒸留手法であり、性能劣化を抑えつつモデルサイズを削減する技術です。特に、リソースが限られた環境でのLLM活用に貢献する可能性があります。この研究は、LLMのデプロイメントにおける重要な進歩を示しています。

• LiquidAIがQuantization-Aware Distillation (QAD) を用いたLFM2.5モデルのQ4_0チェックポイントを公開した。
• QADにより、量子化による品質低下を回復させ、ネイティブQ4_0と同等のメモリと速度を実現した。
• BF16ベースラインの96.5%〜97.4%の精度を維持しつつ、エッジデバイスでの高速推論が可能になった。
• 特に230Mと350Mモデルでは、Q5_K_M品質を3-33%高速に達成した。