#DSpark3件

Speculative decodingがLLM推論を50%以上高速化

DeepSeekが開発したDSparkは、小規模なドラフトモデルが生成したトークンを大規模言語モデルが検証する投機的デコーディング手法です。これにより、テキスト生成速度を50%以上向上させつつ、精度を維持することに成功しました。DSparkは、ドラフトモジュールの追加により既存のDeepSeekモデルの性能を強化し、MITライセンスで公開されています。

DSpark: 信頼度スケジュールによる投機的デコーディングと半自動回帰生成

DSparkは、高スループット並列生成と適応型負荷認識検証を統合した推論高速化フレームワークである。半自己回帰アーキテクチャと軽量シーケンシャルモジュールを組み合わせることで、ブロック内の依存関係モデリングを導入し、サフィックス減衰を緩和する。さらに、信頼度スケジュール検証を採用し、各リクエストの検証長を動的に調整することで、システム効率を最適化する。

DSpark：半教師あり生成による信頼度スケジューリング型推論デコーディング

DSparkは、LLM推論を加速する投機的デコーディングフレームワークであり、高スループットの並列生成と適応的で負荷認識型の検証を統合します。半自己回帰アーキテクチャを採用し、並列バックボーンと軽量シーケンシャルモジュールを組み合わせることで、ブロック内の依存関係モデリングを導入し、サフィックスの減衰を軽減します。