PyTorch 2.14 リリースブログ

PyTorch 2.14がリリースされました。このバージョンでは、NVGEMMがInductorにCuTeDSL生成CUTLASSカーネルを導入し、エピローグ融合などが特徴です。AI開発における基盤となるフレームワークの進化を示しています。

• PyTorch 2.14がリリースされ、NVGEMMによるCUTLASSカーネルのInductorへの統合や、新しいnccl2バックエンドが追加された。
• フォールトトレランスがc10dの主要機能となり、プロセスの再構成やワンサイドRMAウィンドウが利用可能になった。
• Apple Siliconではネイティブ線形代数演算が強化され、MPSGraphからMetalへのカーネル移行が進んだ。
• torch.switchがtorch.condを一般化し、torch.while_loopはCUDAグラフでキャプチャ可能になった。
• 複雑値テンソルに対するtorch.compileの実験的サポートが導入された。