無限の彼方へ：ThunderKittensがNVIDIA Vera Rubin NVL72に登場！

ThunderKittensをNVIDIAのVera Rubin NVL72に移植し、新しいハードウェアに合わせてNVFP4 GEMMを再構築。これにより、42%のRooflineから22 PFLOPS超えを達成し、cuBLASやCuTe DSLと競合する性能を実現した。ISAの変更点と活用方法を詳述している。

• ThunderKittensがNVIDIA Vera Rubin NVL72プラットフォームに対応し、NVFP4およびFP8 GEMMの生成機能を追加した。
• Blackwell GPUのGEMMプログラミングモデルは、Hopperアーキテクチャから変更され、単一スレッドがテンソルコアを駆動する。
• Vera Rubinの最適化により、NVFP4とFP8カーネルのパフォーマンスが向上し、ルーフィラインの達成率が大幅に改善された。
• Blackwellのプログラミングモデルは維持されているが、Vera Rubinの新機能を活用することで、さらなる最適化の余地がある。