Ornith-1.0-35B GGUFアップデート: ネイティブMTPスペキュレーティブデコードのグラフト + 完全なサービング/TTFT/ロングコンテキストの数値 (llama.cpp, tp=1)

Ornith-1.0-35BモデルのGGUFアップデートに関する詳細な報告。native MTP speculative-decode graftや、serving/TTFT/long-contextのパフォーマンス数値が含まれています。llama.cpp上でのLLM推論の効率化と性能向上に焦点を当てた技術的な内容であり、ローカルLLMの性能向上に貢献する情報です。

• Ornith-1.0-35BモデルのGGUFアップデートに関する詳細な報告である。
• native MTP speculative-decode graftの統合について説明されている。
• serving, TTFT, long-contextにおけるパフォーマンス数値が示されている。
• llama.cpp上でのLLM推論の効率化と性能向上に焦点を当てた技術情報である。