8GB？ 16GB VRAM？ 24GB？ 32GB？ 48GB？でどのモデルを実行していますか？

8GB、16GB VRAMなどの環境で動作するLLMについて、ユーザーがどのようなモデル、KVキャッシュ、コンテキスト長、パフォーマンス、ハードウェア構成で利用しているかの情報を共有し、経験をまとめることを目的とした質問です。

• 8GBから48GBまで、様々なVRAM容量の環境で動作するLLMについての情報共有を促している。
• ユーザーは利用しているモデル名、KVキャッシュ、コンテキスト長を報告する。
• 各構成でのパフォーマンスやハードウェア情報も共有される。
• LLMの実行に必要なVRAM容量に関する実用的な知見が集まることが期待される。