コンテキストには、固定費と変動費がある。/contextで削れるのは前半だけだった

LLMのコンテキストウィンドウの制約と、それによる情報欠落の問題について述べている。コンテキストを効率化するための方法や、コンテキストに常時含まれる要素について考察している。

• AIとの対話における「Compacting conversation...」は、コンテキストの固定費と変動費の両方が原因となる。
• 固定費（システムプロンプト等）は削れるが上限があり、変動費（読み込んだファイル等）が会話圧縮の主な原因となる。
• 変動費を減らすには、ファイルを丸ごと読ませず必要な部分だけを指定し、ツールの出力を絞り、サブエージェントに調査を委任する。
• 作業ごとにセッションを分けることで、コンテキストの管理と圧縮を自分の都合で行いやすくなる。
• 固定費の削減も重要だが、削りすぎると手作業が増え、かえって効率が悪くなる可能性がある。