LLMって何なんだと思って調べたら、高校数学だった

LLMやRAGといったAI用語の理解を深めるために、高校数学の視点から解説。生成AIの全体像と、RAGがモデル自体ではなくインプットを拡張する仕組みであることを、アーキテクチャ図を用いて平易に説明している。

• LLM（大規模言語モデル）は、基本的には「次の単語を当てる」機械学習モデルである。
• 学習とは、予測の誤り（損失関数）を微分を用いて最小化するように、パラメータ（重み）を調整していく作業である。
• この「微分してスコアを下げる」という学習原理自体は1980年代から存在し、新しいものではない。
• Transformerアーキテクチャ（2017年）や、パラメータ数と性能の関係（2020年）などの工学的な進歩はあるが、根幹は変わっていない。
• LLM、RAGといった用語は、実際には既存の機械学習の原理に基づいた技術の組み合わせであることが示されている。