[モデル公開] google-bert/bert-base-uncased

google-bert/bert-base-uncasedは、Googleが開発したBERTモデルの標準的なバージョンです。fill-maskタスクで利用され、4600万以上のダウンロード数を誇る、自然言語処理分野の foundational model です。文脈を理解する能力に優れ、多くの下流タスクで高い性能を発揮します。NLP研究におけるベンチマークとしても広く使われています。

• BERT base model (uncased) は、英語の大文字・小文字を区別しない事前学習済みモデルです。
• Masked Language Modeling (MLM) と Next Sentence Prediction (NSP) の2つの目的で学習しています。
• MLMは文中の単語の15%をマスクし、その単語を予測することで双方向の文脈を学習します。
• NSPは2つの文が連続しているかを予測し、文の関係性を学習します。
• BERTは、下流タスク用の特徴抽出に利用できる内部表現を学習します。