FreeTokenは35B不要、120B級MoEで効く

本紙はこの記事を読んでいません。元サイトが本文を配信していないため、見出しだけで要約を書くことはしません。

• FreeTokenが35Bモデルでは効果が限定的で、120B級MoEモデルで真価を発揮すると検証。
• RTX 5090（32GB VRAM）と128GB RAM環境でFreeToken 0.1.2をテスト。
• MoEのExpertをVRAM外に配置し、必要に応じてGPUへキャッシュする有効性を確認。
• 大規模モデルでのVRAM効率化が、FreeTokenの主なメリットであることを示唆。