[モデル公開] distilbert/distilbert-base-uncased

distilbert/distilbert-base-uncasedは、BERTを軽量化したDistilBERTモデルです。fill-maskタスクで利用され、730万以上のダウンロード数があります。BERTの性能を維持しつつ、モデルサイズと推論速度を改善しており、リソースに制約のある環境での利用に適しています。効率性と性能のバランスに優れたモデルです。

• distilbert/distilbert-base-uncasedは、BERTベースモデルを蒸留（Distillation）により小型・高速化したモデルである。
• 元のBERTモデルと比較して、パラメータ数が少なく、推論速度が向上している。
• 自己教師あり学習で事前学習されており、特に系列分類や質問応答などのタスクに適している。
• 小文字のみを扱うため、大文字・小文字の区別をしない。
• Hugging Face Transformersライブラリを通じて利用可能。