# AIに画面を見せて「ここをこう」と言えるようにしました

AIに画面指示を可能にするシステムを開発。スクショに赤入れして指示する手間を省き、「ここをこう」といった直感的な操作を実現。文章だけでは伝わりにくいUI操作の指示を、視覚的に効率化する手法を提案する。

• AIに画面の指示を出す際、文章だけでなく画面への直接的な赤入れと音声入力で、より直感的かつ迅速な指示を可能にしました。
• 文章での指示の限界（語彙力不足、説明の冗長さ）を補うため、画面上の要素を指し示しながら説明できる機能を実装しました。
• 「これやって〜」のような雑な指示でもAIが理解できるよう、言葉で説明する範囲を減らすことに重点を置いています。
• 音声入力機能はWindows上で手軽に利用でき、ホットキー操作や入力欄への自動貼り付け機能が備わっています。
• 赤入れ機能は、画面操作の指示に特化しており、音声入力と組み合わせることで、AIへの指示精度と効率を向上させます。