VRAM超えMoEを高速ローカル推論するFreeToken入門

本紙が書いた要約がまだありません。他サイトの要約をそのまま載せることはしません。

• VRAMに収まらない大型MoEモデルを高速にローカル推論するAIエンジン「FreeToken」を紹介。
• FreeTokenはNVIDIA GPU上で動作し、ExpertをGPUへキャッシュして協調実行する。
• RTX 30/40/50シリーズGPU（一部除く）で、特にモデルサイズがVRAMを超えるMoEモデルに有効。
• DeepSeek-V4, GLM, Qwen3.6などの動作確認済みモデルが挙げられている。
• 16GB VRAMのRTX 3080 Laptop GPUでQwen3.6-35B-A3Bモデルの推論を試行した事例を掲載。