744BのGLM-5.2を25GBのRAMで動かすcolibri、エキスパートをディスクから流す

GPUなし・25GB RAMのノートPCで744BのGLM-5.2モデルを動作させるColibriエンジンを紹介。速度は遅いものの、大規模モデルを低リソース環境で動かすためのメモリ効率的なアプローチと、その達成までの過程に焦点を当てる。

• 744Bパラメータの巨大LLM「GLM-5.2」を25GBのRAMで動かす「colibri」エンジンが開発された。
• MoEアーキテクチャの特性を利用し、使用頻度の低いエキスパートをディスクに配置してメモリ使用量を削減している。
• これにより、GPUなしのノートPCでも大規模モデルの実行が可能になったが、速度は0.1トークン/秒程度に留まる。
• OSのデマンドページングの仕組みをモデルの重み管理に応用し、ストレージをメモリの代替として活用している。