LLM推論初出 6/11 02:58
Doc-to-Atom：メモリAtomのコンパイルと合成を学習する
Doc-to-Atom: Learning to Compile and Compose Memory Atoms
https://export.arxiv.org/api/query2026/6/11
AI要約
LLMの長文処理における二次的計算コスト問題を解決するため、Doc-to-Atomを提案。コンテキスト蒸留を拡張し、ドキュメントごとにメモリ原子（LoRAアダプタ）を生成・コンパイル・合成することで、効率的な推論とクエリ応答を実現する。
AI要点
- 長文入力におけるLLMの計算コスト問題を解決するため、Doc-to-Atom（Doc2Atom）フレームワークが提案された。
- 各ドキュメントを意味的に型付けされた「メモリAtom」に分解し、それぞれを独立したmicro-LoRAアダプタとしてコンパイルする。
- 推論時には、クエリに応じて関連するAtomのみを選択・組み立て、クエリ固有のアダプタを生成する。
- Doc-to-LoRAと比較して、メモリコストを削減しつつ、6つの多様なQAベンチマークで性能向上を示した。
なぜ重要か
ドキュメントを構成要素（Atom）に分解し、必要に応じて動的に組み合わせることで、長文処理におけるLLMのメモリ効率と推論速度を大幅に改善し、よりスケーラブルなドキュメント理解と推論を可能にする。