トークン数はコストの代理変数にならない ― 自分のログ25,574ターンで測り直したら、他の人と結論が分かれた

本記事は、以前に書かれた「1ターンあたり23万トークンを読み直していた」という記事の訂正と、トークン数の計測方法に関する別視点からの考察を述べています。トークン量をコストの代理変数とすることについて、筆者のログデータ25,574ターンを用いた再計測結果から、他の研究者と結論が分かれた経緯を説明しています。

• AI利用におけるコスト計算において、トークン数が必ずしもコストの代理変数にならないことが、自身のログ25,574ターンで測定された。
• キャッシュ読出がトークン量では大部分を占めるが、金額換算ではその影響が相対的に小さいことが示された。
• コスト構成比は、セッションの長さや利用頻度といった使い方によって変動することが指摘されている。
• トークン量の構成比と金額の構成比は異なり、キャッシュ書込は量に対して金額が重いとされている。