IndicTriMix: Tri-Language Code-Mixingのための言語識別データセットとモデルの開発

コード混合（複数の言語が混在する）テキストの言語同定のためのデータセットとモデル「IndicTriMix」を開発。特にSNSで頻繁に見られるコード混合テキストにおいて、トークンレベルでの言語同定は緊急の必要性がある。従来の単言語モデルは適応できないため、本研究では系列ラベリング問題として定式化し、コンテキスト化されたモデルをファインチューニングする。

• SNSなどで見られる、複数の言語が混在するコード混合テキストの言語識別ためのデータセットとモデル「IndicTriMix」を開発した。
• 従来の単言語モデルでは対応が難しかった、トークンレベルでの言語同定の必要性に対応する。
• 系列ラベリング問題として定式化し、コンテキスト化されたモデルをファインチューニングすることで高精度な識別を目指す。
• 特にインド亜大陸の言語におけるコード混合テキストを対象としている。