#LLM推論40件

CoinRAG: 長コンテキストRAGのためのコンテキスト化された情報ナゲットKVキャッシュ再利用

長文RAGにおける情報冗長性やノイズを解決するため、CoinRAGを提案。情報ナゲット単位でのKVキャッシュ再利用により、低レイテンシかつ高精度なRAGを実現する。

選択的コンテキスト選好最適化による信頼すべきタイミングの学習

LLMが外部コンテキストに依存する際、誤った情報源を信頼しないようにする「選択的信頼」という課題を定義。コンテキストの真偽を判断させることで、信頼できるコンテキストは活用し、誤ったものは無視するモデルを学習させる。MISTというベンチマークを提案し、4つの条件（クリーン、誤解を招く、正しいコンテキスト）で評価する。

スキルネイティブLLMへ：長期間推論のベンチマークとトレーニングのためのスキルエントロピー

Skill Entropyは、LLMが複数の推論スキルを切り替える能力を評価・訓練するための指標です。長期的推論におけるスキル転換の課題に取り組みます。

OPD-V：モダリティバランスによる視覚的オンポリシー自己蒸留

OPD-Vは、視覚的推論におけるモダリティ間の不均衡を解消し、自己蒸留を強化する手法です。マルチモーダルLLMの性能向上を目指します。

Reasoning Core：補完教師あり推論トレーニングのための広範な手続きデータ設計

Reasoning Coreは、数学、論理、計画などの多様な推論タスクを生成し、完了ベースのファインチューニングに適したデータセットです。難易度制御やタスク評価機能も備えています。

OctoLong：トレーニング中のクロスリポジトリコードコンテキストが長コンテキストモデリングを強化

OctoLongは、コードコンテキストを横断的に利用し、長文脈モデリングを強化する手法です。既存の長文脈コーパスの限界を克服します。

WorldCup Arena: ライブトーナメントにおける最先端LLMの予期的、漏洩防止評価

WorldCup Arenaは、将来の出来事に対するLLMの予測能力を評価するための、リアルタイムなトーナメント形式のベンチマークである。過去の出来事ではなく、進行中のFIFAワールドカップの試合結果をリアルタイムで予測させることで、暗記による評価を排除し、LLMの真の予測能力を測定する。

TurnSight: ツール統合型推論のためのターンレベルHindsight自己蒸留

TurnSightは、ツール利用型推論（TIR）における長期間のタスク実行を支援する自己蒸留手法である。従来の軌跡レベルの監督ではなく、各ターンの状態に基づいた詳細な報酬信号を提供することで、より精緻な信用割り当てを可能にする。これにより、LLMがツールを iteratively に利用して複雑な問題を解決する能力が向上する。

ParVL: マルチモーダルLLMのための並列スケーリングと拡張可能なコンピューティング割り当て

ParVLは、マルチモーダルLLMのスケーリングフレームワークであり、モデルパラメータまたは推論計算のどちらか一方に偏る既存手法と異なり、並列スケーリングと計算リソースの動的な割り当てを可能にする。これにより、メモリやレイテンシのオーバーヘッドを削減し、Vision TransformerとLLMコンポーネント間の固定された計算配分に捉われず、タスク固有の最適化を実現する。

onepot-Bench 0：ラボを考慮したin silico化学ベンチマークに向けて

onepot-Bench 0は、実験室環境を考慮した化学分野におけるAIの評価ベンチマークを提供する。既存の評価では、科学的な問題解決能力や専門知識の評価が不十分であった。このベンチマークは、より現実的な実験室の意思決定能力を測定し、AIが科学研究の現場でどのように活用できるかの指標となる。

AgentHPOBench: LLM Agentを逐次ハイパーパラメータオプティマイザとして評価するためのベンチマーク

AgentHPOBenchは、LLMエージェントを逐次ハイパーパラメータ最適化手法として評価するためのベンチマークである。実験証拠を解釈し、逐次的なハイパーパラメータ決定を導くエージェントの能力を評価することに特化している。

TokTier: Agentic LLMサービングのための正確なステートフル・トークン化

TokTierは、LLMサービングシステムにおけるプロンプトKV状態のキャッシュを活用し、エージェントがツールの結果ごとに完全なリクエストテキストを再トークン化するコストを削減する。特に、コーディングエージェントが長いトランスクリプトを送信する際の効率を改善し、短い追加でもトークン境界の変化による再利用の困難さを軽減する。

ReToken：視覚検索のためのVision-Language Modelを改善する1つのトークン

長大な視覚コンテキストは、ビジョン言語モデルにとって課題です。本研究では、ReTokenという単一の学習可能埋め込みを提案します。これは、事前定義されたKVキャッシュからクエリ関連の視覚トークンを効率的に選択し、GPUメモリの制約下でも視覚検索タスクの性能を向上させます。

AISPA：大規模言語モデルアプリケーションのためのユーザー中心システムプロンプト監査

システムプロンプトはAIアプリケーションの基盤モデルの動作を指示しますが、その開示が少ないため、信頼性と説明責任のギャップが生じています。本研究では、AISPAというユーザー中心のフレームワークを提案し、AIシステムにおけるシステムプロンプトを体系的に監査します。

CHARM：階層的コンテキストモデリングによるゼロショット転移のためのマルチモーダルグラフ基盤モデル

この論文では、「CHARM」という、階層的コンテキストモデリングを備えたマルチモーダルグラフ基盤モデルを提案しています。これは、ゼロショット転移能力に優れており、テキストや画像などの様々なモダリティを持つグラフデータを効果的に扱います。現実世界の複雑なエンティティや関係性を表現するために不可欠なマルチモーダルグラフにおけるゼロショット転移の課題に取り組み、その応用範囲を広げます。

Reinformed Dreamer：潜在ガイダンスによる効率的な学習を実現する非対称世界モデル

この論文は、「Reinforced Dreamer」という手法を提案し、潜在変数誘導による効率的な世界モデル学習を可能にします。人間がガイダンスから学ぶように、強化学習アルゴリズムも報酬以外の追加情報から利益を得ることができます。本研究は、特に非対称強化学習の枠組みで、追加情報を用いたより良い表現と行動の学習に焦点を当て、効率的な学習を実現します。

バトンを渡す：軌道中継によるOn-Policy Distillation

この論文は、オンポリシー蒸留(OPD)における「プレフィックス失敗」問題を解決する手法を提案しています。プレフィックス失敗とは、学生モデルが誤った推論を開始すると、その誤りが後続の生成全体に影響し、不正確な教師信号を生み出す問題です。本研究では、教師と学生モデルの継続性の非対称性を特定し、この問題を緩和することで、より信頼性の高い蒸留を実現します。

DataOrchestra: 事前学習データの例ごとのキュレーションを学習する

LLMの事前学習データ処理における、例ごとのキュレーションを自動化するDataOrchestraフレームワークを提案。固定戦略ではなく、各データ例のニーズに合わせて処理パイプラインを動的にオーケストレーションすることで、データ処理の効率と効果を最大化する。

GraphVid：インタラクティブなグラフ制御ビデオ生成

テキストプロンプトでは複数オブジェクトの相互作用を精密に指定するのが難しい。GraphVidは、グラフ構造を用いて複数オブジェクトのインタラクティブな動画生成を可能にし、制御性を向上させる。

十分性（Sufficiency）を超えて：反事実的必要性（Counterfactual Necessity）による時系列説明

時系列分類器の解釈において、予測を維持するために十分なだけでなく、必要不可欠な部分系列を特定することが重要である。TimePNSは、必要性を考慮した時系列説明フレームワークを提案する。

陰的・陽的ジオメトリを持つ3D認識VLMs

2D画像ベースのVLMsは3D空間理解に課題がある。本研究では、RGB動画から学習した暗黙的・明示的3Dジオメトリを統合するVLM-IE3Dを提案し、VLMsの3D空間認識能力を向上させる。

モデルを学習させるのであって、読者を学習させるのではない：検証可能な活性化説明のためのデコーダビリティ（Decodability）制御

LLMの解釈可能性における検証可能な説明生成のため、デコーダビリティ監督を提案。「モデルを訓練するのではなく、読者を訓練する」アプローチで、誤った主張を検出・ペナルティを与えることを目指す。

ISO：RLVRネイティブ最適化スタック

強化学習による検証可能報酬（RLVR）の最適化レイヤーに焦点を当て、「ISO」スタックを提案。モデルの特異構造とスペクトル継承により、効率的な行動獲得を目指す。

コピーを減らし、グラウンドを増やす：証拠認識型強化学習による長文脈推論における反復コピーの克服

長文コンテキスト推論において、入力テキストの繰り返しコピーを防ぐための、証拠認識型強化学習を用いた新しい手法を提案。長文LLMにおける重要な問題点を特定し、その軽減策を示す。

ベクトル検索を最近傍探索として利用：RAGベースの因果推論におけるポリシー学習

RAG（Retrieval-Augmented Generation）を用いた方策学習のための新しい手法を提案。ベクトル検索と最尤推定を組み合わせ、潜在的結果フレームワーク内で行動選択を定式化し、因果推論における効果的な方策学習を実現する。

構造化脅威情報生成のためのOpen-Weight LLM評価（自律走行車脆弱性向け）

Muonオプティマイザが、エージェント的強化学習（RL）の後置学習において、AdamWと比較してどのような価値を持つかを検証します。ALFWorldデータセットとQwen2.5-0.5B-Instructモデルを使用し、Muonを隠れ層の重み行列に適用することで、成功率が大幅に向上することを示しています。

PagedWeight: 動的品質考慮型重み量子化による効率的なMoE LLMサービング

PagedWeightは、MoE LLMのサービングにおいて、モデルの重みを実行時に動的に量子化し、エキスパートの重みの精度とKVキャッシュのサイズをバランスさせる新しい管理手法です。これにより、GPUメモリ要件とKVキャッシュの増加というトレードオフを解消します。

SearchOS-V1: 頑健なオープン・ドメイン情報探索エージェント協調に向けて

情報探索エージェントの協調性を高める「SearchOS-V1」を提案。対話履歴が長くなると生じるタスク進捗の追跡困難や、検索失敗時のループに陥る問題を解決し、検索予算の浪費を防ぎ、最終的な出力品質を向上。

Hindcast：LLM予測器の評価のための予測市場の再実行

LLM予測市場の評価における、後知恵や学習データ汚染の問題を指摘し、Hindcastという手法でこれを回避する評価フレームワークを提案。

Deep Interaction：大規模推論モデルのための効率的な人間-AIインタラクション手法

大規模推論モデルにおける、エラー発生時のAIとの対話方法を改善するDeep Interactionを提案。再生成や手作業のフラグ付けに頼らない。

生成モデルのためのウォーターマークフォレンジック：情報理論的視点

生成モデルのウォーターマークに対するフォレンジック分析を情報理論的観点から提案。単なる生成判定だけでなく、ユーザー特定やペイロード抽出、編集箇所の特定といったフォレンジック能力を評価し、必要なサンプル長との関係を分析する。

凍結離散拡散言語モデルによるオーディオネイティブ音声認識

固定化された離散拡散言語モデルを用いたオーディオネイティブ音声認識を提案。従来の逐次トークン生成モデルに対し、全体的なトランスクリプトを並列的に洗練する拡散モデルによる音声認識の可能性を探求し、効率化を目指す。

証拠に基づいたビデオ質問応答

動画理解のための「E-VQA」タスクを提案。回答だけでなく、動画内の証拠となる領域を正確に特定することで、不透明な動画LLMの解釈可能性を高める。遮蔽や非剛体変形も考慮した、より高度な動画QAを目指す。

帰納的推論タスクにおけるTransformerの不変学習ダイナミクス

Transformerモデルが帰納的推論能力を獲得するメカニズムを理論的に解明。注意機構の学習ダイナミクスが特定の高次元空間に限定されることを証明し、モデルの推論能力の基盤を説明する。

Agon：推論の暗黙的なライバル評価による競争的クロスモデルRL

推論モデルのエンジンである検証可能報酬からの強化学習は、最終結果のみを評価する。本研究では、Agonを提案。2つの競合モデルが互いに採点者となり、推論プロセス自体を評価することで、より良い思考を促進する。

Co-LMLM：連続クエリ限定メモリ言語モデル

知識ベース（KB）に事実知識を外部化する限定記憶言語モデル（LMLM）を提案。KBペアは連続的なキーとテキスト知識値を持ち、知識制御能力を向上させるCO-LMLMを導入。従来のLLMを超える知識管理が期待される。

階層的音響意味モデリング: 全二重SLMのためのモダリティ分離と意味的一貫性

話者分離と意味的一貫性を両立する階層的音響・意味モデリングを提案。全二重発話言語モデルにおけるモダリティ干渉問題を解決し、より自然で知的な対話を実現する。