LLM推論初出 6/22 23:17
GLM-5.2 UD-IQ1_M on llama.cpp — 5090 + 3090 Ti スピードテスト (~ 8k ctx で prefill @ ~ 579 t/s, 57k ctx で prefill @ ~324 t/s, decode @ ~10.6 t/s)
GLM-5.2 UD-IQ1_M on llama.cpp — 5090 + 3090 Ti speed test (~ 579 t/s prefill @ 8k ctx, ~324 t/s prefill @ 57k ctx, ~10.6 t/s decode)
https://www.reddit.com/r/LocalLLaMA/.rss2026/6/22
AI要約
GLM-5.2 UD-IQ1_Mモデルをllama.cpp上で、RTX 5090とRTX 3090 Ti GPUを使用した場合の速度テスト結果を報告。128kコンテキスト長でのパフォーマンス(プレフィル約579 t/s、デコード約10.6 t/s)を示す。
AI要点
- GLM-5.2 UD-IQ1_Mモデルをllama.cpp上で、RTX 5090とRTX 3090 Ti GPUで実行した速度テスト結果が報告されている。
- 128kコンテキスト長でのテストにおいて、プレフィル(事前処理)は約579 t/s、デコード(生成)は約10.6 t/sの速度を記録した。
- 高性能GPUを使用した場合の、特定LLMモデルのコンテキスト長に対するパフォーマンスが示されている。
- llama.cpp上での大規模モデル実行における、GPU性能と処理速度の関係性を示すデータを提供している。
なぜ重要か
大規模言語モデルの効率的な実行速度に関する実測データは、ローカル環境でのAI活用や、さらなるハードウェア・ソフトウェア最適化のための重要な指標となり、開発者や研究者にとって実用的な価値が高い。