Category · 48ページ目
LLM推論
40件
LLM推論初出 9/10 05:00
Negative Self-Distillation: 欠陥を回避して推論を学習する
オンポリシー自己蒸留(OPSD)は、LLMの自己改善に人気がありますが、複雑な推論タスクで性能を低下させる可能性があります。OPSDは、学生モデルに過度に自信のある推論を強制し、不確実性の表現や自己修正行動を抑制します。これを解決するため、本研究では「ネガティブ自己蒸留(NSD)」という新しいフレームワークを提案します。
https://huggingface.co/api/daily_papers
LLM推論初出 8/2 22:02
[GitHub] patchy631/time-to-first-token
LLM推論サービングと最適化のための10週間ロードマップ。vLLM、SGLang、量子化、 spéculative decoding、ベンチマーキングなどを週30分で学べる。
https://api.github.com/search/repositories
LLM推論初出 9/11 02:30
Model-Aware Schedules は Fiberwise Optimal Transport による生成を改善する
拡散モデルやフローマッチングにおけるスケジュール（信号とノイズ係数）を改善する手法を提案。最適輸送に動機づけられた運動エネルギー作用の最小化は強力なベースラインを説明するが、モデル非依存であり予測誤差を無視する。本研究では、ファイバーごとの最適輸送に基づいたモデル認識型スケジュールの構築を導入し、より効率的な生成を目指す。