日本語は減り、英語は +38% — Claude 新トークナイザの実測

Claudeの新トークナイザーは、以前のモデルと比較して最大約35%多くのトークンを使用する可能性がある。これは処理するテキストの内容によって変動する。

• Claude Opus 4.7以降で導入された新トークナイザは、英語のトークン数を約38%増加させる一方、日本語は逆に約2%減少させた。
• これにより、同じ内容を日本語で書いた場合のトークン単価の割高さが、旧トークナイザの1.78倍から新トークナイザでは1.21倍に縮小した。
• この変化は、これまで「日本語でAIを使うとトークンで損をする」とされてきた認識を覆すもので、モデル選択やプロンプト設計に影響する。
• 測定は課金されない`/v1/messages/count_tokens`エンドポイントを使用し、同一内容の日英対訳ペアで比較検証された。