AIに時刻を与えるとキャッシュが壊れる話 ─ 時間認識という設計変数

LLMが時刻を認識する仕組みと、それに伴うキャッシュの問題について解説。システムプロンプトへの時刻注入方法によって、キャッシュヒット率やAIの時間感覚の精度が変化する現象を説明している。

• LLMは本来、学習時点の知識しか持たず、「今」を認識する手段を持たない。
• 多くのAIプロダクトは、システムプロンプトに現在日時を注入して時間認識を補っている。
• システムプロンプトに現在時刻を埋め込むと、プロンプトキャッシュのヒット率が低下し、コストが増加する。
• ClaudeとGeminiでは、キャッシュの挙動やヒット率に違いがあり、Geminiはキャッシュヒットが不安定な場合がある。
• 時刻付与は「取得の粒度」として設計変数と捉え、日誌ファイルの日次パーティション化などの応用も考えられる。