トークンは群元である：行列リー群上のリー代数アテンションについて

トークンをリー群の元と見なす新しいアテンション機構を提案。スコア計算に代数ノルムを用い、従来のカーネルベース手法では除外されがちなアフィン全フレーム群にも対応可能で、新たな表現学習の可能性を示唆。

• トークンを行列リー群の元と見なす新しいアテンション機構を提案。
• スコア計算に代数ノルムを用いることで、従来のカーネル手法では難しかった表現も扱える。
• アフィン全フレーム群のような、これまで除外されがちだった構造にも対応可能。
• 新たな表現学習の可能性を示唆し、より豊かな意味表現を捉えることを目指す。