Transformer LLMのためのCanonical基盤再構成：各隠れ軸が独立して測定・制御可能に

Transformer LLMの隠れ軸を正規化行列の特異ベクトルから構築される直交行列で変換し、各軸を独立して測定・制御可能にする手法。これにより、QwenやPythiaなどのアーキテクチャを、出力やパープレキシティスコアを変更せずに変換できる。

• Transformer LLMの隠れ軸を、正規化行列の特異ベクトルから構築される直交行列で変換する手法が提案された。
• この手法により、各隠れ軸を独立して測定・制御することが可能になる。
• QwenやPythiaといった既存のTransformerアーキテクチャを、出力やパープレキシティスコアを変えずに変換できる。
• これにより、LLMの内部構造の解釈性や制御性が向上すると期待される。
• Transformerモデルの「canonical basis」を再構成することで、より効率的なモデル分析やファインチューニングが可能になる。