Category · 19ページ目
LLM推論
40件
LLM推論初出 8/11 22:19
nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 · Hugging Face
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16は、NVIDIAが開発した高性能な言語モデルです。Hugging Faceで公開されており、その性能が注目されています。
https://www.reddit.com/r/LocalLLaMA/.rss
LLM推論6本の記事が同じ件を報じた初出 8/11 14:20
Qwen 3.8-27bが今週登場
Qwen 3.8-27bは、近週リリース予定の新しい大規模言語モデルです。その性能と利用可能性が期待されており、AIコミュニティで注目されています。
https://www.reddit.com/r/LocalLLaMA/.rss
LLM推論初出 8/12 01:52
QSpec実行時の2つの量子化による推論の一致率を調べる
この記事では、QSpecというSpeculative Decodingの手法における2つの量子化（W4A4とW4A16）を用いた推論の一致率について調査しています。W4A4は高速、W4A16は高精度であり、これらを組み合わせることで効率的な推論を目指す研究について解説しています。