[477] Convex Relaxationsによるトークン化

ConvexTokは、従来の貪欲なトークナイザーとは異なり、線形計画法と凸最適化を用いてトークナイザーを構築する新しいアルゴリズムです。これにより、トークン化の精度と圧縮率が向上する可能性があります。