【詳細編】RAGはモデルの"中"で何をしているのか ― hidden state と層の話

RAG（Retrieval-Augmented Generation）の内部動作について、モデルのhidden stateや層に着目して詳細に解説する記事。基礎編で説明された外部の仕組みから一歩進み、AIモデル内でRAGがどのように機能しているかを掘り下げている。

• RAG（Retrieval-Augmented Generation）の「詳細編」として、モデル内部での処理に焦点を当てる。
• RAGでは、外部知識を検索しプロンプトに連結するが、モデルの重みは学習されない。
• LLMは、入力トークン列が手動かRAGによるものかを区別せず、内部で影響を与えるのは層やhidden stateである。
• RAGの成否は、検索された文書の質に大きく依存し、モデル内部での変化は入力の変化によるものである。
• 検索文書は、モデルの途中層やhidden stateに影響を与えるが、その影響の度合いと理由は重要である。