LLM推論初出 6/3 02:41

18Bトークンで75MパラメータLLMをスクラッチからトレーニングした結果、ほぼ倍のサイズのモデルを上回る

I trained a 75M parameter LLM from scratch on 18B tokens and it beats a model almost double its size

https://www.reddit.com/r/LocalLLaMA/.rss2026/6/3

AI要約

7500万パラメータのLLM「KeyLM」をスクラッチで学習させ、約2倍のパラメータを持つモデルをしのぐ性能を達成したと報告しています。Instruction Following性能評価（IFEval）で、より大きなモデルを上回ったとのことです。