埋め込みモデルのEmbedding vectorsのばらつきをどう比較するか考えてみた

RAGなどで利用される埋め込みモデルのEmbedding vectorsのばらつきを統計的に評価する方法を考察。異なる埋め込みモデルの比較・評価手法について、その考え方を整理し、議論を求めている。

• 埋め込みモデルのベクトルは、モデルや次元が異なると直接比較できないばらつき指標Vが存在することが示された。
• ベクトルのばらつきを比較するには、モデルの異方性や目盛りの違いに不変な統計量を考える必要がある。
• グループラベルがある場合、グループ内分散($SS_W$)とグループ間分散($SS_B$)に分解し、$R^2 = SS_B / SS_T$ や $W_g = 1 - ||oldsymbol{ u}_g||^2$ といった指標で比較可能になる。
• これらの指標は、埋め込みベクトルの意味的構造の全体的なばらつきと、グループごとのばらつきを定量化する。
• 提案された統計量は、異なる埋め込みモデルの性能を統一的な尺度で評価するための基盤を提供する。