ExecuTorch上のMuse Glimmerによる、高速なオンデバイスエージェンティックAI

Metaが開発した300億パラメータのオープンウェイトモデル「Muse Glimmer」を紹介。ExecuTorchと連携し、NVIDIAデバイス上でオンデバイスエージェントワークフローを実現する。これにより、ローカル環境でのAIエージェントの高速かつ効率的な実行が可能になる。

• MetaのAIモデル「Muse Glimmer」が、ExecuTorch上で高速に動作。
• ExecuTorchは、PyTorchモデルをNVIDIA GPUやApple Silicon搭載Macに最適化してデプロイするフレームワーク。
• モデルの再実装ではなく、Ahead-of-Time (AOT) コンパイルにより効率化。
• Muse Glimmerのテキスト・画像入力、長コンテキスト、低遅延デコーディングをサポート。
• NVIDIA GPUまたはApple Silicon搭載Macで利用可能な実行可能バイナリが提供されている。