TorchTitanとTorchAOを用いたAMD GPUでのFP8トレーニング：パフォーマンス改善のアップストリーミング

AMD GPUにおけるFP8トレーニングのパフォーマンス改善に関する記事。PyTorch Conference 2025で公開されたAMDの最適化ライブラリPrimus-Turboを活用し、1,000基以上のAMD Instinctクラスターで線形スケーリングを実証した。この最適化はTorchTitanに統合され、AMD Instinct GPUで直接FP8トレーニングが可能になった。

• AMD GPU上で、TorchTitanとTorchAOライブラリを用いてFP8トレーニングのパフォーマンスが向上しました。
• AMDのFP8フォーマットネイティブサポートと最適化されたTritonカーネルにより、特にMoEモデルで大幅な高速化が実現されました。
• Llama3-8BモデルではBF16と比較してスループットが13.4%向上し、DeepSeek-V3 671Bモデルでは大幅なオーバーヘッド削減と高速化が達成されました。