LFM2.5-DSparkで推論速度が最大3.2倍に向上

LFM2.5-DSparkは、LLM推論において最大3.2倍の高速化を実現する技術です。これにより、大規模言語モデルの推論処理が大幅に効率化され、より迅速な応答や低コストでの運用が可能になります。特に、リアルタイム性が求められるアプリケーションや、リソースが限られる環境でのLLM活用に貢献する技術と言えるでしょう。

• LiquidAIはLFM2.5ファミリーの3モデル（LFM2.5-1.2B-Instruct, LFM2.5-2.6B, LFM2.5-8B-A1B）でDSparkドラフトモデルチェックポイントをリリースした。
• DSparkは、推論速度をGPUで最大3.18倍、オンデバイスで最大2.87倍向上させる。
• 関数呼び出しのレイテンシを平均57%削減し、オンデバイスでのエージェント推論に貢献する。
• DSparkは、軽量なドラフトモデルが候補トークンを生成し、ターゲットモデルが検証する「投機的デコーディング」を採用する。
• LFM2.5-DSparkはSFT、チャット、コード、関数呼び出しデータを含む多様なデータセットで学習されている。