#LLM Serving1件

DSpark：半教師あり生成による信頼度スケジューリング型推論デコーディング

DSparkは、LLM推論を加速する投機的デコーディングフレームワークであり、高スループットの並列生成と適応的で負荷認識型の検証を統合します。半自己回帰アーキテクチャを採用し、並列バックボーンと軽量シーケンシャルモジュールを組み合わせることで、ブロック内の依存関係モデリングを導入し、サフィックスの減衰を軽減します。