LLM推論重要度 ★10
不確かな箇所に専門家を配置：Mixture-of-Experts LoRAのための信頼度適応ルーティング
Spend Experts Where You Are Unsure: Confidence-Adaptive Routing for Mixture-of-Experts LoRA
https://export.arxiv.org/api/query·2026/7/28
AI要約
この論文は、Mixture-of-Experts (MoE) LoRAにおける「CARE（Confidence-Adaptive Routing of Experts）」という新しいルーティング手法を提案しています。従来のMoEは全てのトークンに固定数のエキスパートを割り当てていましたが、CAREはトークンの不確実性に基づいてエキスパートの割り当てを適応させます。
AI要点
- Mixture-of-Experts (MoE) LoRAにおける「CARE」という信頼度適応ルーティング手法が提案された。
- トークンの不確実性に応じてアクティブにするエキスパート数を動的に調整する。
- ルーターの出力分布をトークンごとの不確実性シグナルとして利用する。
- 計算量が同等な固定トップk MoE-LoRAよりも性能が向上し、より少ないエキスパートで同等の性能を達成する。
- 分布外検出性能も向上することが示されている。
なぜ重要か
大規模言語モデルにおける計算効率と性能を両立させる新しいルーティング手法CAREは、より高速で高精度なAIモデルの開発を可能にし、多様なタスクへの応用が期待される。