Tag
[990] LiteRT-LMによる、オンデバイスでの超高速GenAI
Google AI EdgeのLiteRT-LMは、Gemma 4モデルファミリーをAndroid、iOS、Webプラットフォーム全体で高速に実行するための最適化されたランタイムです。GPU、CPU、NPU(Android)のハードウェアバックエンドをサポートし、WebGPU経由でMacBook Proでは最大76トークン/秒のデコード速度を実現します。
[514] LiteRT-LM による高速なオンデバイスGenAI
Google AI EdgeのLiteRT-LMは、LiteRT(旧TensorFlow Lite)を活用してGemma 4を様々なプラットフォームに最適化し、オンデバイスでの推論体験を提供します。高度な量子化スキームとアクセラレーテッドカーネルをサポートし、CPU、GPU、NPUでの効率的な実行を実現します。