LLM推論初出 6/5 02:59
TailLoR: パラメータ効率的な継続学習における主成分の保護
TailLoR: Protecting Principal Components in Parameter-Efficient Continual Learning
https://export.arxiv.org/api/query2026/6/5
AI要約
TailLoRは、パラメータ効率の良い継続学習において、主成分を保護する手法を提案。特異値分解の特異基底を固定参照フレームとして利用し、低ランク更新を学習することで、干渉を低減しつつ微細な適応を可能にする。