「NeoMME」：効率的なマルチモーダルネイティブ・多言語エンコーダー

NeoMMEは、マルチモーダルかつ多言語対応のエンコーダーであり、効率的な推論を実現します。様々な言語やモダリティをネイティブに扱えるため、幅広い応用が期待されます。特に、多言語環境でのクロスモーダルなタスクにおいて高い性能を発揮する可能性があります。

• 効率的なマルチモーダル・多言語エンコーダー「NeoMME」が発表された。260Mと800Mのモデルサイズがある。
• NeoMMEは、テキストと画像パッチを単一の双方向Transformerで処理し、ゼロから学習される。
• 従来の生成モデルとは異なり、独立したビジョンタワーや因果言語モデルを使用しない。
• 文書検索タスクにファインチューニングされ、既存モデルより高速かつ省メモリなエンコーディングを実現する。
• モデルチェックポイントはApache 2.0ライセンスでHugging Faceにて公開されている。