29倍高速なベンチマーク結果を出したカーネルに2週間費やす。全体では6〜10%程度で、まだ接続すらされていない。

CPU上でBitNetの三項モデルを実行するためのC99推論エンジンを自作した話です。AVX-512BWを活用したカーネル最適化により、大幅な高速化を実現しました。

• CPU上でBitNetの三項モデルを実行するC99推論エンジンが開発された。
• AVX-512BWを活用したカーネル最適化により、29倍の高速化ベンチマーク結果が出ている。
• 全体的なパフォーマンス向上は6〜10%程度に留まっている。