プロンプトのテストに CI は無い — 学生の試験のように選択式で測る設計

プロンプトのテストにCI（継続的インテグレーション）を導入する設計について解説。AIによる文章生成の品質を、学生の試験のように選択式で機械的に検証するアプローチを提案。

• AIが生成した文章のルール遵守度を判定するAI（判定役）の精度を、機械で自動採点できる形式で設計した。
• 自由記述形式のテストでは採点が人的作業になるため、学生の試験のように選択肢から答えを選ばせる形式を採用した。
• AIの回答の偏りを防ぐため、選択肢にA,B,Cのような記号を付けず、単語で答えさせる設計が有効である。
• 「対象外」といった逃げ道の選択肢は、モデルの正答率を不安定にするため、2段階の2択質問形式で対応した。
• AIの評価において、選択式テストは標準的な手法であり、特に日本語での評価設計には注意が必要である。