自律エージェントを実装すると、決めることになる項目

カメラと音声ガイドで作業を支援するモバイルアプリ開発の記録。自律エージェントとして「普通のチャットアプリでは出てこない」決定項目とその代償について解説している。

• カメラで作業を見守り音声ガイドする自律型モバイルアプリのアーキテクチャ設計について解説している。
• 自律ループでは、モデル選択（コスト・レイテンシ）、待ち時間の埋め方、状態管理（State）など、多くの決定事項が生じる。
• コストとレイテンシを抑えるため、ローカルLLM（Stage1）と高性能LLM（Stage2）を組み合わせ、処理をルーティングする設計を採用した。
• Stateに巨大データ（画像など）や長期間の履歴を保持すると、コスト増、プライバシーリスク、文脈の腐敗が生じるため、寿命で3層に分けた。
• AIエージェントが自律的に動作するシステムでは、AIの限界を正しく申告させることや、AI間の判断の一貫性を担保する仕組みが課題となる。