Tag
DSpark: 信頼度スケジュールによる投機的デコーディングと半自動回帰生成
DSparkは、高スループット並列生成と適応型負荷認識検証を統合した推論高速化フレームワークである。半自己回帰アーキテクチャと軽量シーケンシャルモジュールを組み合わせることで、ブロック内の依存関係モデリングを導入し、サフィックス減衰を緩和する。さらに、信頼度スケジュール検証を採用し、各リクエストの検証長を動的に調整することで、システム効率を最適化する。