LLMの仕組みから逆算する、コンテキストエンジニアリングが効く理由

LLMの内部構造、特にTransformerの仕組みから、コンテキストエンジニアリングがなぜ有効なのかを逆算して解説する書籍の要約です。コンテキストの4つの性質を言語化し、プロンプトエンジニアリングだけでは出力が安定しない理由をLLMの仕組みに基づいて説明しています。

• LLMはテキストではなくトークン列を処理し、コンテキストウィンドウはトークン数で上限が決まります。
• LLMの推論は「次のトークンの確率予測」の繰り返しであり、実行時に出力を制御する唯一の変数はコンテキストです。
• Attention機構はコンテキスト内の情報を混ぜますが、計算量はコンテキスト長の二乗に比例し、位置情報も性能に影響します。
• これらの仕組みから、コンテキストは有限であり、位置や内容の取捨選択が重要であることが導かれます。