vLLMとは？わかりやすく解説 - AIリブート

vLLMは、UC BerkeleyのSkyLab研究グループが開発した、高スループット・低レイテンシを実現するLLM推論・サービングライブラリです。PagedAttentionというKVキャッシュ管理技術により、メモリ使用効率を飛躍的に向上させ、従来比2〜24倍のスループット向上を達成しました。