オンデバイスAI時代のRAGアプリ設計を考える

Google Tensor SDKの発表を受け、オンデバイスAIがAndroidの標準機能となる未来と、RAGアプリの設計について考察。スマートフォン単体でのAI機能実現の可能性を探ります。

• Google Tensor SDK発表により、オンデバイスAIがAndroidの標準機能となる時代が近づいている。
• RAGアプリは、汎用AIアシスタントとは異なり、「自分だけの知識」をAIに渡す役割を担う。
• ローカルLLMは交換可能に設計し、GemmaやTensor SDK、将来のLLMにも対応できる柔軟性を持たせるべきである。
• ExaVisionはOCR、Embedding、VectorDB、プロンプト生成を担当し、推論のみをLLMに依頼する構造とする。
• RAGアプリの価値はLLM搭載ではなく、「自分だけの知識を最適なLLMへ橋渡しすること」にあり、LLM交換可能な設計が重要である。