精度70%のRAGを前に何を判断すべきか

AIが生成したバリデーションコードを意図的に壊してテストした結果、想定通りの箇所でテストが失敗することを確認した。この記事では、AI生成コードの信頼性を検証する一環として、このような「わざと壊す」テスト手法について解説する。

• AI PoCにおける失敗原因は、モデル精度よりも事後判断の不明確さにある。
• RAG評価を「指標定義」「計測」「解釈」の3課題に分解し、実務的対処を論じる。
• 検索とシステム全体の評価を分離し、それぞれに適した指標を用いる重要性を説く。
• 正解データ不在時でも、段階的な評価アーキテクチャ（テストセット、ルーブリック、LLM評価）で対応可能。
• インクリメンタルな開発手法が評価の装置としても機能することを示す。