Transformer Circuitsのための数学的フレームワーク (2021)

本論文は、Transformer言語モデルの内部計算を逆工学する「メカニスティック解釈可能性」への初期的な試みとして、小規模なTransformerモデルの数学的フレームワークを提示する。特に、2層以上のモデルで出現する「誘発ヘッド」がin-context learningを説明できることを発見した。

• Transformerモデルの内部動作を理解するための数学的フレームワークを提案している。
• 特に、単純なモデルから始めて、より複雑なモデルに適用可能なアルゴリズムパターンやモチーフを発見することを目指す。
• この研究は、Transformerの計算プロセスを逆アセンブルし、人間が読めるソースコードに似た形で理解しようとする「メカニズム的解釈可能性」の一環である。
• これにより、モデルの予期せぬ、あるいは有害な振る舞いを理解し、将来のモデルの安全性問題に対処する可能性を探る。