TokEval: トークナイザー評価スイート

TokEval: A Tokenizer Evaluation Suite

https://export.arxiv.org/api/query·2026/8/18

AI要約

言語モデルのトークナイザー選定における評価不足を指摘し、モデル能力に影響を与えるトークナイザー特性を捉えるための評価フレームワーク「TokEval」を提案。標準的な指標を超え、言語学的・構造的に意味のある特性を評価する。

AI要点

言語モデルのトークナイザーは、その設計がモデルの能力に直接影響するにもかかわらず、最小限の評価で選択されることが多い。
TokEvalは、単なる流動性や圧縮率を超え、UTF-8文字境界の整合性や数学における桁揃えなど、言語的・構造的に意味のある特性を捉える評価指標フレームワークである。
TokEvalの指標が下流タスクの性能を予測できるか検証するため、トークナイザーの学習データ、前処理戦略、学習アルゴリズムを単独で変更した言語モデルの事前学習実験を行った。
情報理論的指標は言語モデリング能力を、構造に敏感な指標（桁揃えなど）はタスク精度と相関することが実験で示唆された。
この研究は、より原則的なトークナイザー評価を可能にし、事前学習の試行錯誤を、両者が一致する箇所では固有測定に置き換えることを目指す。

なぜ重要か

TokEvalは、言語モデルの性能に不可欠なトークナイザーの評価を体系化し、言語的・構造的特性を考慮した指標を提供することで、より効率的で効果的なトークナイザー選択を可能にし、結果として言語モデル全体の性能向上に寄与する。