Tag
[7804] Activation Function Zoo パート1：カタログの前の直感
この記事では、ニューラルネットワークにおける活性化関数の重要性を解説し、特にSwiGLUのようなゲート付き線形ユニット（GLU）に焦点を当てています。GLUは、単純な点ごとの活性化関数とは異なり、2つの線形変換の結果を要素ごとに乗算することで、より複雑な情報処理を可能にします。Yi-34Bのような現代のLLMアーキテクチャでもSwiGLUが採用されており、その表現力の高さが示唆されています。
[7571] Activation Function Zoo Part 1：カタログの前に理解しておくべきこと
この記事では、ニューラルネットワークにおける活性化関数の重要性と、その進化の歴史を解説しています。特に、GELUのようなポイントワイズ活性化関数と、SwiGLUのようなゲート付きブロックの違いに焦点を当てています。Yi-34BなどのモデルがSwiGLUを採用していることに言及し、これらの活性化関数がモデルの表現力と効率にどのように貢献するかを考察しています。