Attentionってなんだ？ ── Q/K/Vの出どころで決まる名前

Attentionメカニズム、特にSelf-Attentionの根幹をなすQ/K/Vの概念について解説する記事。Transformerモデルの基礎となる技術であり、LLM（大規模言語モデル）の理解に不可欠な要素である。AI研究における重要な概念を掘り下げる内容となっている。

• Attention機構は、Query（Q）、Key（K）、Value（V）の出どころによってSelf-AttentionとCross-Attentionに区別される。
• Self-AttentionはQ, K, Vが同じ系列から来るのに対し、Cross-AttentionはQが自身の系列、K, Vが別の系列から来る。
• Attentionは2014年にRNNの固定長ベクトルによる情報圧縮のボトルネックを解決するために生まれた。
• Whisperのような現役モデルでも、系列間の対応付けが必要なタスクではCross-Attentionが利用されている。