転移言語モデルの確率的推定

この研究は、伝達言語モデル(TLM)における確率計算の課題に対処し、指数関数的に大きなソース文字列集合を扱うための確率的推定手法を提案する。これにより、TLMの効率的な学習と推論を可能にする。

• 転移言語モデル（TLM）におけるターゲット文字列の確率を、ソース文字列の確率から不偏推定量で計算する手法を提案。
• 従来のビームサーチ近似では誤差が不明瞭だったが、本手法では誤差の推定も可能。
• ソースプレフィックスを非復元抽出でリサンプリングし、重み付けすることで不偏性を保証。
• 計算コストを削減し、確率1で停止することが保証される。
• テキストとDNAのタスクで、既存手法よりも優れた計算・分散トレードオフと低い誤差を達成。