PrismML Bonsai 27B、Jetson Orin Nano 8GBで驚くほど実用的

Jetson Orin Nano 8GBという比較的小規模なハードウェア上で、PrismML Bonsai 27Bモデルが実用的なレベルで動作することが報告されている。4.31 t/sのトークン生成速度と6.2GBのRAM使用量で、電力消費も抑えつつ複雑なタスクを実行可能である。

• PrismML Bonsai 27Bモデルが、Jetson Orin Nano 8GBという小型ハードウェア上で実用的に動作することが報告されました。
• トークン生成速度は4.31 t/s、RAM使用量は6.2GBと、省電力ながらも高い性能を発揮しています。
• 比較的限られたリソースで、複雑なAIタスクを実行できる可能性を示しています。
• エッジデバイスでの高度なAI活用への期待が高まります。