LLM推論初出 7/24 19:00
「53.7%節約」と出ているのに、私のClaude Codeは1トークンも節約していなかった
https://zenn.dev/topics/ai/feed2026/7/24
AI要約
自作のトークン節約プロキシRTKによるClaude Codeのトークン使用量計測結果に疑問を感じ、JetBrainsの同様のツール検証結果と比較。宣伝されている節約率と実際の効果の乖離、および計測ツールの設定不備による誤った結論を指摘している。
AI要点
- トークン節約ツールの「節約率」表示は、実効性検算の指標として不十分であると指摘。
- ツールの効果は、「分母」「副作用」「実装状態」の3つの観点から検算する必要があると主張。
- JetBrainsの実験により、一部トークン節約ツールの効果が実際には±0%または割高になることが示された。
- RTK(Rust Token Killer)の節約率は、課金されるトークンではなく、介入したコマンド出力のトークンを分母としていた。
- 最適化ツールの効果を過信せず、自ら実測・検証することの重要性を強調している。
なぜ重要か
AIツールの効果測定における「分母・副作用・実装状態」の検算は、表面的な数値に惑わされず、ツールの真の価値と実用性を評価するための不可欠なプロセスであり、開発者の健全なツール選定を支援する。