Tag
スマホでのオンデバイスAIはパッケージングとDRAMの制約で実現不可能だが、SK hynixの最新アーキテクチャはそれを覆す可能性
SK hynixは、スマートフォンにおけるオンデバイスAIの実現を阻むパッケージングとDRAMの制約を克服するため、3D積層DRAM-on-logicアーキテクチャを開発中です。これにより、データ転送距離の短縮、転送チャネルの増加、レイテンシ削減、電力効率向上、省スペース化が期待され、スマートフォンが真のオンデバイスAIデバイスとなる可能性を秘めています。
オンデバイスAIとは何か、そして次のスマートフォンでなぜ重要なのか？
オンデバイスAIは、スマートフォンがAIタスクをローカルで処理することを可能にし、速度、プライバシー、オフライン機能が向上します。リモートサーバーに依存するクラウドAIとは異なり、オンデバイスAIはスマートフォンチップセット内の専用NPU（Neural Processing Unit）を活用して、リアルタイム翻訳やAI写真編集などのワークロードを効率的に処理します。
ExecuTorch HackathonにおけるオンデバイスAIの未来構築
ExecuTorch Hackathonは、モバイル・エッジデバイスでのオンデマンドAIアプリケーションに焦点を当て、Winning ProjectsとしてSafeScreen AI（視覚的安全レイヤー）やSixthSense（視覚障がい者向け触覚ビジョン）が紹介されました。これらはプライバシー、低遅延、オフライン機能といったローカル実行の利点を強調しました。
[990] LiteRT-LMによる、オンデバイスでの超高速GenAI
Google AI EdgeのLiteRT-LMは、Gemma 4モデルファミリーをAndroid、iOS、Webプラットフォーム全体で高速に実行するための最適化されたランタイムです。GPU、CPU、NPU（Android）のハードウェアバックエンドをサポートし、WebGPU経由でMacBook Proでは最大76トークン/秒のデコード速度を実現します。