Lightbits、GPUパフォーマンス向上のためKVキャッシュエンジンをリリース予定

Lightbits Labsは、GPUのパフォーマンスを向上させるためのKVキャッシュエンジン「Inferra」を発表しました。このソフトウェアエンジンは、GPUに接続された限られた高帯域幅メモリ（HBM）の外にキー・バリュー・キャッシュデータを移動させることで、AI推論の経済性とパフォーマンスを改善します。