NVIDIAを1枚も使わず訓練した1.6兆パラメータのLongCat-2.0

NVIDIA製GPUを1枚も使用せずに訓練された1.6兆パラメータの言語モデル「LongCat-2.0」について解説する。中国Meituanが公開したこのモデルは、コーディング用途で高い評判を得ており、大規模モデルの訓練におけるハードウェアの多様性を示唆している。

• NVIDIA製GPUを一切使用せず、1.6兆パラメータの巨大言語モデル「LongCat-2.0」が訓練された。
• このモデルは中国のMeituanが公開したもので、Mixture-of-Experts (MoE) 方式を採用している。
• コンテキスト長100万トークンに対応し、MITライセンスで商用利用も可能である。
• 訓練には中国製ASICクラスタが使用され、「Nvidiaがないと最前線の訓練はできない」という前提に疑問を投げかける。
• 独自のSparse Attention (LSA) やN-gram Embedding を採用し、長文コンテキスト処理とモデル性能を向上させている。