AIをただ使うだけの人とAIシステムを構築した人はどうやって見分けられるのか

AIをただ使うだけのユーザーとAIシステムを構築したユーザーの違いを見分ける方法について解説する記事。プロンプトの工夫だけでなく、LLMモデルの活用方法や評価パイプライン構築といった、システム構築に関する質問への応答で差が生まれることを指摘する。

• 「生成AIを使っている」という経歴には、単にチャットインターフェースを利用する人と、検索基盤やツール呼び出し、評価パイプラインを構築・運用した人が含まれており、その差は大きい。
• LLMモデルの利用経験の差は、プロンプトの工夫だけでなく、モデルの誤りへの対処、社内文書更新時の対応、回答の決定論的な保証など、システム構築・運用の具体性で測られる。
• 面接では、候補者の経験を聞く行動質問と、仮の状況を与える状況質問を用いて、AIシステムの「利用者」「構築者」「設計運用者」の三段階で評価基準を設ける。
• 「利用者」はプロンプトの工夫に留まり、コード側の保証や数値の話が出ない。「構築者」は検索やツール呼び出しの実装経験を語れるが、追跡は場当たり的。「設計運用者」はモデルとコードの境界を分け、変更・障害・費用・追跡を仕組みとして説明できる。
• 面接官は、候補者の回答に「境界」が見えるか（モデルに任せる範囲とコードで保証する範囲）、失敗談に具体的な数字と再発防止策が伴うかなどを確認することで、その経験レベルを判断する。