LLM推論重要度 ★10
LLMSurgeon: 大規模言語モデルのデータ混合診断
LLMSurgeon: Diagnosing Data Mixture of Large Language Models
https://export.arxiv.org/api/query·2026/5/28
AI要約
LLMの事前学習データ混合を推定する「LLMSurgeon」を提案。生成されたテキストから、データ混合手術（DMS）という形式で、ドメインレベルの分布を推定する。これにより、モデルの挙動や失敗モードの理解を深める。
AI要点
- LLMの事前学習データ構成は「デジタルDNA」であり、モデルの挙動を決定するが、その構成は開示されないことが多い。
- 提案手法LLMSurgeonは、生成されたテキストのみから、対象LLMの事前学習コーパスのドメインレベル分布を推定する。
- LLMSurgeonは、データ混合診断(DMS)を、ラベルシフト仮定下での逆問題として定式化し、キャリブレーションされたソフト混同行列を推定する。
- オープンソースLLMの透明な事前学習混合物から構築された評価セットLLMScanで、LLMSurgeonは高忠実度でドメイン混合を復元することを示した。
なぜ重要か
LLMSurgeonは、学習データにアクセスせずにLLMの「デジタルDNA」を事後的に監査する実用的なアプローチを提供し、モデルの信頼性やバイアス理解に貢献するため重要である。