AIの手順書を、問題集でテストしてみた。Waza風evalをCodexで回す話

AIエージェントの再利用可能な手順書である「Skill」を、Codexを用いて問題集形式でテストする手法を解説。AIに渡す問題を作成し、AIによるSkillのテストを実行することで、Skillの修正による意図しない場所の破壊を防ぐことを目指す。

• AIエージェントの手順書「Skill」を、問題集形式でテストする手法を提案。
• Codexを利用し、Skillのテスト用問題を作成・実行する。
• これにより、Skillの修正が意図しない箇所に悪影響を与える「破壊」を防ぐ。
• AIエージェントの再利用性と信頼性を高めるための検証方法を提供する。