ツール/フレームワーク★10· https://export.arxiv.org/api/query TokEval: トークナイザー評価スイート
言語モデルのトークナイザー選定における評価不足を指摘し、モデル能力に影響を与えるトークナイザー特性を捉えるための評価フレームワーク「TokEval」を提案。標準的な指標を超え、言語学的・構造的に意味のある特性を評価する。
ツール/フレームワーク★10· https://export.arxiv.org/api/query Piper: プログラマブル分散トレーニングシステム
大規模モデルトレーニングのためのプログラマブルな分散トレーニングシステム「Piper」を開発。データ、パイプライン、エキスパート並列などを柔軟に組み合わせ、システム適応性を向上。
ツール/フレームワーク★9· https://export.arxiv.org/api/query 1つのエディタ、複数編集:多様なビデオ編集のための統一されたトレーニングフリーフレームワーク
多様な動画編集パラダイムに対応する、訓練不要な統一フレームワークEditVidを提案。局所的な一貫性のための疎な因果メモリ、長期的な同一性保持のための後注意トークン注入などを組み合わせる。