第3話　とある現場のおじさん、LLMは意外と物忘れが激しいことを知る

LLMは万能ではなく、与えられた文脈や状態に基づいて応答を生成する。LLMに記憶させるのではなく、必要な情報を外部に記録・管理し、会話の安定性を高めるアプローチが有効であることを現場の経験から解説している。

• LLMは、会話履歴や外部情報といった渡された文脈に基づいて応答しており、人間のように記憶しているわけではない。
• チャット画面では会話が続いているように見えるが、実際にはアプリケーションがその都度必要な情報をLLMに渡している。
• LLMの「物忘れ」は、ステートレスな処理モデルや、渡される情報量の限界に起因すると考えられる。
• LLMを効果的に利用するには、必要な情報を整理して渡す「記録して渡す」アプローチが有効である。