「キャッシュ読出がトークンの81倍」はコストの話ではなかった — 課金の3分の1は書込で、同じ内容を平均3.7回書いていた

LLMのコスト構造に関する新たな視点を提供しています。キャッシュ読み出しがトークンの81倍であるという発見が、単なるコストではなく、書き込みコストが重要である可能性を示唆し、同じ内容を複数回書いている実態を明らかにしています。

• LLMのコスト分析で、キャッシュ読出はトークン数で出力の81倍だが、金額では1.62倍に留まった。
• キャッシュ書込がトークン量では少ないが、金額では総額の32.7%を占め、コストの主因であることが判明。
• 同じ内容を平均3.7回書き直しており、これが書込コストを増大させている。
• トークン数だけではAIコストの実態を把握できず、単価や書込回数も考慮する必要がある。