Tag
#hn-score:193
1件
LLM推論初出 5/29 18:47
標準GPUでのリアルタイムLLM推論：リクエストあたり3kトークン/秒
標準的なGPU上でリアルタイムLLM推論を実現する技術。1リクエストあたり3000トークン/秒の速度を達成し、LLMの応答性向上に貢献。
https://hacker-news.firebaseio.com/v0
Tag
1件
標準的なGPU上でリアルタイムLLM推論を実現する技術。1リクエストあたり3000トークン/秒の速度を達成し、LLMの応答性向上に貢献。