夏の読書感想文：『LLMの原理、RAG・エージェント開発から読み解く コンテキストエンジニアリング』

『LLMの原理、RAG・エージェント開発から読み解く コンテキストエンジニアリング』という書籍を読み、エージェント開発とコンテキストエンジニアリングについて体系的に学んだ内容を章ごとにまとめている。

• コンテキストエンジニアリングは、LLMの精度劣化や非機能面での課題を解決するために重要である。
• LLMはTransformerアーキテクチャ（Decoderのみ）を使用し、Self-Attentionでトークン間の関係性を計算し、Feed Forwardで知識を付与する。
• LLMは一般的に、入力コンテキストの「末尾＞冒頭＞中盤」の順で注意を払う「Lost in the Middle」問題がある。
• API選定では、回答品質、コスト、コンテキストキャッシュの有無、コンテキストウィンドウの大きさ、モダリティ、コンテンツフィルター、組み込みツールが考慮される。
• LLMは推論リクエスト間で会話履歴を保持しないため、コンテキストキャッシュ機能による履歴保持が一般的である。