「うまくいった」小さな検証が、間違った問いに答えていた話

RAGにおける文章類似度分析で、使用するAIモデルによって結果が変わる可能性を検証。当初の検証では「変わらない」という結果だったが、問いのズレにより実際は大きく異なったことを報告している。

• RAGにおける類似度分析で、要約AIモデルが異なると結果が変わる可能性が判明した。
• 2記事での予備検証では「変わらない」という結果だったが、検証対象の問いが異なっていた。
• 30記事規模で正しい問いを検証し直したところ、記事間の類似性判定は大きく異なった。
• 入力データ（要約）の生成方法が、AIによる意味の近さの判定に影響を与えることが示された。