LLM推論初出 6/27 06:06
Nemotron-3-Super-120B-A12B (Mamba+MoEハイブリッド) が4×3090上で504Kトークンまで完璧なニードル検索を達成
Nemotron-3-Super-120B-A12B (hybrid Mamba+MoE) holds perfect needle retrieval to 504K tokens on 4×3090
https://www.reddit.com/r/LocalLLaMA/.rss2026/6/27
AI要約
Nemotron-3-Super-120B-A12Bモデル（Mamba+MoEハイブリッド）が、504Kトークン長で完璧なニードル検索性能を4x3090 GPUで達成したという報告。長文コンテキスト処理能力の高さが伺える。
AI要点
- Nemotron-3-Super-120B-A12Bモデルが504Kトークン長で完璧なニードル検索を達成した。
- MambaとMoEを組み合わせたハイブリッドアーキテクチャを採用している。
- 4x3090 GPU環境でこの性能を実現している。
- 長文コンテキストの処理能力が大幅に向上したことを示唆している。
なぜ重要か
長文コンテキストを正確に理解・参照する能力が飛躍的に向上し、RAGなどの応用における情報検索精度や、複雑な指示の理解能力の向上が期待されるため。