#GLU1件

Activation Function Zoo パート1：カタログの前の直感

この記事では、ニューラルネットワークにおける活性化関数の重要性を解説し、特にSwiGLUのようなゲート付き線形ユニット（GLU）に焦点を当てています。GLUは、単純な点ごとの活性化関数とは異なり、2つの線形変換の結果を要素ごとに乗算することで、より複雑な情報処理を可能にします。Yi-34Bのような現代のLLMアーキテクチャでもSwiGLUが採用されており、その表現力の高さが示唆されています。