tencent/Hy3の機能

Tencentが開発した、Apache 2.0ライセンスのMixture-of-Experts (MoE) モデルHy3についての情報。Hy3は295Bパラメータを持ち、アクティブパラメータは21B、MTPレイヤーパラメータは3.8B。Hy3 Previewのローンチ後、50以上の製品からのフィードバックを収集し、高品質なデータでポストトレーニングをスケールアップした。

• TencentはApache 2.0ライセンスのMoEモデル「Hy3」を開発した。
• Hy3は295Bパラメータを持ち、アクティブパラメータは21Bである。
• Hy3 Previewのフィードバックを基に、高品質データでポストトレーニングをスケールアップした。