LLM推論初出 6/6 02:54
あなたのUnEmbedding Matrixは、テキスト埋め込みのための秘密のFeature Lensである
Your UnEmbedding Matrix is Secretly a Feature Lens for Text Embeddings
https://export.arxiv.org/api/query2026/6/6
AI要約
LLMの埋め込みモデルとしての性能不足の原因を分析。テキスト埋め込みが語彙空間に投影された際に、頻出する無情報トークンに整列する傾向があることを発見し、これが問題を引き起こすと主張。