#効率化2件

Pixel 9/10のAI処理が50％高速化、130MBのメモリー節約と電池持ちを改善するグーグル「Gemini Nano v3」新技術とは

Googleは、オンデバイスAI「Gemini Nano v3」モデルの推論性能を高速化するマルチトークン予測（MTP）アーキテクチャを開発しました。Pixel 9/10シリーズで50%以上の速度向上と130MBのメモリ節約、バッテリー持続時間の改善を確認。従来の生成プロセスにおけるボトルネックを解消し、通知要約や文章校正などのAI処理を効率化します。これは、モバイルデバイスの限られたRAM消費問題を解決するため、メインモデルの最終層にTransformerヘッドを追加する手法を取り入れたものです。

GPUネイティブビデオコーデックによる効率的なリモートKVキャッシュ再利用

本論文では、Yi-34Bモデルを含む複数のモデルに対し、KVCodecという新しいシステムを用いた効率的なKVキャッシュの再利用方法を提案している。