GLM2をまともな量で実行する方法についてのアイデア、批判/フィードバック求む

GLM2モデルを効率的に実行するためのアイデアについて議論されている。特に、複数のGPU（4x 5060 ti、計64GB VRAM）をP2P接続で利用し、DDR3メモリの活用も検討している。ローカル環境でのLLM推論におけるハードウェア構成の最適化に関する考察である。

• GLM2モデルを効率的に実行するためのアイデアを議論している。
• 複数のGPU（4x 5060 ti、計64GB VRAM）をP2P接続で利用する方法を検討している。
• DDR3メモリの活用も選択肢として検討されている。
• ローカル環境でのLLM推論におけるハードウェア構成の最適化に関する考察である。