LLM推論初出 6/12 15:34
Mistral-7Bのトークン76,747から応答：InfiniteKVのオープンソース化
Open sourcing InfiniteKV: a KV cache that files old tokens as 104-byte searchable records in RAM or on disk instead of deleting them. Mistral-7B answered from token 76,747, 2.3x past its trained window. Colab demo
https://www.reddit.com/r/LocalLLaMA/.rss2026/6/12
AI要約
InfiniteKVという、トークンを削除せずにRAMやディスクに保存し、検索可能にするKVキャッシュ技術のオープンソース化に関する情報です。これにより、非常に長いコンテキストを扱えるようになります。
AI要点
- Mistral-7Bモデルで、トークン数76,747の応答が可能になったことが報告されている。
- これはInfiniteKVという技術によって実現されたと説明されている。
- InfiniteKVは、KVキャッシュをRAMやディスクに保存し検索可能にする技術である。
- これにより、非常に長いコンテキストを扱えるようになったInfiniteKVがオープンソース化された。
なぜ重要か
InfiniteKV技術のオープンソース化により、従来扱いきれなかった長文コンテキストの処理が可能になり、大規模言語モデルの応用範囲が飛躍的に拡大することが期待される。