ナレッジ蒸留をスケール実行できるほど安価にする

知識蒸留を大規模かつ低コストで実行可能にする手法を提案。ニューラルネットワークの性能を維持しつつ、モデルサイズと計算コストを削減する。これにより、より多くの環境でのAIモデル展開が期待される。

• 大規模言語モデル(LLM)の知識蒸留を安価に実行する手法が提案された。
• LLMの学習コスト削減のため、教師モデルのTop-K Logitsをキャッシュし、メモリ効率の良いKL損失関数を導入した。
• 提案手法により、従来数百GPUが必要だった学習コストを単一GPUで実現し、長文脈処理も可能になる。
• NvidiaやMultiverse Computingといった企業も高品質な圧縮モデルをリリースしている。