RAGとGraphRAGを同じ100問で並べたら、勝敗が質問タイプで真っ二つに割れた

RAGとGraphRAGを100問で比較評価した結果、GraphRAGはRAGの上位互換ではなく、質問タイプによって性能が大きく異なると判明。導入前に質問分布を測定することの重要性を説き、再現可能な評価手順を解説する。

• リンタツール「reflint」が、エージェントが参照するドキュメントの整合性をCIでチェックする。
• CIチェックにより、壊れた参照（リンク切れ、パス間違いなど）を早期に発見できる。
• このツールを118リポジトリに適用した結果、既存のフラグが機能していなかったことが判明した。
• エージェントが参照エラーにより予期せず停止する問題を未然に防ぐことを目的とする。
• ドキュメント参照の信頼性を高め、エージェントの安定稼働を支援する。