LLM推論重要度 ★10
Attentionが盲目になるとき: ALiBi位置エンコーディングにおける数値的失敗
When Attention Goes Blind: Numerical Failure in ALiBi Positional Encodings
https://export.arxiv.org/api/query·2026/8/4
AI要約
ALiBi位置エンコーディングの数値的脆弱性に関する研究である。ALiBiの線形バイアススケーリングが浮動小数点精度の下限に達し、アテンションヘッドの一部を機能不全に陥らせる「注意力が盲目になる」という問題を発見・分析し、4つの緩和戦略とその効果を検証する。最新モデルでもこの問題が発生しうることを実証する。
AI要点
- ALiBi位置エンコーディングにおいて、線形バイアスのスケーリングが浮動小数点数の精度限界（アンダーフロー）に達し、アテンションの大部分が無効になる問題が発見された。
- この数値的失敗により、一部のアテンションヘッドが「盲目」状態になり、特にトークン検索タスクの性能を著しく低下させることが示された。
- 状態最新のALiBiベースの事前学習済みモデルでも、この問題が発生することが確認されている。
- ログスケール距離を用いた位置エンコーディングが、この問題に対する最も効果的な緩和策の一つであることが示唆された。
なぜ重要か
Transformerモデルの性能に不可欠な位置エンコーディングにおける潜在的な数値的失敗を特定・分析することは、モデルの信頼性と頑健性を向上させ、より安定したAI開発に不可欠である。