Shard - KVキャッシュ圧縮を10倍にする

ShardというHuggingFace Cacheライブラリが、Llama-3.1-8BモデルのKVキャッシュメモリを大幅に圧縮し、コンテキスト長が長い場合でも性能低下を抑える技術について解説。GoogleのTurboQuantを再実装したもので、LLMのメモリ効率を劇的に改善する。