DiffusersへのNunchaku 4-bit Diffusion Inferenceの導入

Nunchakuという手法を用いて、4ビット拡散モデルの推論をDiffusersライブラリに導入する技術記事。計算リソースを大幅に削減しつつ、高品質な画像生成を可能にする。この技術は、より多くのユーザーが高度な画像生成AIを利用できるようになることを目指している。

• Nunchaku 4-bit Diffusion InferenceがDiffusersライブラリに導入された。
• これにより、大規模拡散モデルの推論に必要なVRAM容量が大幅に削減される。
• Nunchaku Liteは4ビットの重みと活性化（W4A4）を使用し、メモリ削減と高速化を両立。
• Diffusersの`from_pretrained()`でNunchakuチェックポイントを直接ロード可能になった。
• diffuse-compressorツールキットで、ユーザーが独自モデルを量子化し公開できるようになった。