PathwayのBDH（Transformer後アーキテクチャ）がGPT2のスケール（10Mから1Bパラメータ、ゼロから学習）に匹敵。Normal GPUで動作。

Pathwayの新しいアーキテクチャBDHは、GPT2のスケーリング則に合致し、1000万から10億パラメータまで、ゼロから学習させた場合でも同等の性能を発揮します。このアーキテクチャは、一般的なGPUで動作する点が特徴です。

• PathwayのBDHアーキテクチャはGPT2のスケーリング則に合致している。
• 10Mから1Bパラメータまでゼロから学習しても同等の性能を発揮する。
• このアーキテクチャは一般的なGPUで動作する点が特徴である。