LLM推論初出 9/11 02:57
Transformerにおける距離一般化：位置エンコーディングにこだわる理由
Distance generalization in transformers: why bother with positional encoding?
https://export.arxiv.org/api/query·2026/9/10
AI要約
Transformerモデルのコンテキスト長外（length generalization）だけでなく、トークン間距離の変化（distance generalization）への対応能力を検証します。合成データセットを用いて、訓練時と推論時でトークン間の距離が異なる場合のモデルの性能を評価し、Transformerの汎化能力の限界を探ります。