LLM推論初出 5/22 02:44

Gated DeltaNet-2: Linear AttentionにおけるEraseとWriteの分離

Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention

https://export.arxiv.org/api/query2026/5/22

AI要約

Gated DeltaNet-2は、線形アテンションにおけるメモリの消去と書き込みを分離する新しいメカニズムを提案します。これにより、効率的なシーケンス処理と定数メモリでのデコーディングが可能になり、LLMの性能向上に寄与します。