LLM推論初出 6/12 02:58
Influcoder: デコーダーの勾配影響ランキングをエンコーダーに蒸留し、データ帰属を可能にする
Influcoder: Distilling Decoders' Gradient Influence Rankings into an Encoder for Data Attribution
https://export.arxiv.org/api/query2026/6/12
AI要約
LLMのデータ属性評価のため、デコーダーの勾配影響ランキングをエンコーダーに蒸留する「Influcoder」を提案。学習データ中のどのサンプルがモデルの特定出力に影響を与えたかを推定する。
AI要点
- LLMのデータ属性評価のため「Influcoder」が提案された。
- デコーダーの勾配影響ランキングをエンコーダーに蒸留する。
- 学習データ中のどのサンプルが特定出力に影響したかを推定する。
- モデルの学習過程におけるデータの影響度を可視化する。
なぜ重要か
モデルが学習データの影響をどの程度受けているかを定量化できるため、バイアスの特定や、より公平で信頼性の高いモデル開発に貢献する可能性があります。