Sliding-windowは線形アテンションに勝る

Alexia Jolicoeur-Martineauらの論文で、線形アテンションをスライディングウィンドウアテンションとアテンションシンクで代替する手法が提案されています。ローカルLLM推論のメモリ制約緩和に繋がる可能性があります。

• 線形アテンションに代わる手法として、スライディングウィンドウアテンションとアテンションシンクが提案されている。
• 提案手法は、ローカルLLM推論におけるメモリ使用量の制約を緩和する可能性が示唆されている。
• 従来のアテンション機構の計算効率とメモリ効率の改善を目指す研究である。
• Attention Sinkにより、ウィンドウ外のトークンを考慮したスライディングウィンドウアテンションが実現されている。