#LLM推論40件

AI金融リサーチワークフローのデザイン：読書と利用、そしてAIの判断

LLMを用いた金融アナリストシステムの評価において、情報検索能力だけでなく、それが判断に与える影響を測定する重要性を指摘。コンテキスト長が判読に与える影響を分析し、検索と統合のギャップを明らかにする。

ConceptGuard：大規模言語モデルにおけるコンテキスト依存型アンラーニングのベンチマーク

LLMにおける文脈依存的なアンラーニングの評価ベンチマーク「ConceptGuard」を提案。既存手法は独立した事実の集合で評価するため、有害な振る舞いを消去しつつ有益な知識を保持するという重要な要件を捉えきれない。本研究はこのギャップを埋めることを目指す。

労働の分割：証拠解釈と意思決定集約の分離

多数の情報源から結論を導くLLMシステムにおいて、証拠解釈と決定集約のプロセスを分離する手法を提案。インターフェースを設計し、精度と信頼性を向上させる。

セッション境界を越えたIn-Context Learning状態の引き継ぎ

大規模言語モデル（LLM）を用いたアプリケーションにおける、セッション境界を越えたコンテキスト（In-Context Learning状態）の引き継ぎ方法を提案。タスクの連続性を維持し、LLMの利用体験を向上させる。

マルチモーダルコードスイッチング：明示的なオブジェクトレベルのアライメントのための言語への視覚オブジェクトの挿入

マルチモーダルコードスイッチング: 視覚オブジェクトを言語に挿入し、明示的なオブジェクトレベルの整合性を実現。既存のMLLMは画像-テキストペアに依存するが、グローバルな画像表現と長いテキスト説明の整合性は曖昧さを生む。本手法は、オブジェクトレベルの整合性を強化する。

音声機能呼び出し：大規模音声言語モデルのための音声言語理解の新視点

Spoken Function Callingは、音声言語理解に新しい視点をもたらします。オープンなタスクにおけるLLMの文脈内学習能力を向上させます。

Agogic: LLMネイティブなテキストから記号音楽生成のためのパフォーマンス時間音楽トークン

Agogicは、LLMネイティブなテキスト・シンボリック音楽生成のための音楽トークン化手法である。音楽のトークン化方法がモデル性能に与える影響を、モデルサイズやデータセット等の他の要因を固定した上で、純粋に比較評価する。その結果、トークン化手法がモデルサイズ以上に性能を決定する重要な要素であることを示唆する。

Attentionが盲目になるとき: ALiBi位置エンコーディングにおける数値的失敗

ALiBi位置エンコーディングの数値的脆弱性に関する研究である。ALiBiの線形バイアススケーリングが浮動小数点精度の下限に達し、アテンションヘッドの一部を機能不全に陥らせる「注意力が盲目になる」という問題を発見・分析し、4つの緩和戦略とその効果を検証する。最新モデルでもこの問題が発生しうることを実証する。

拡散モデル内の擬似乱数ストリームは、生成品質に影響を与える学習可能な入力として機能する

本研究は、拡散モデルにおける疑似乱数ストリームが学習可能な入力として機能し、生成品質に影響を与えることを示唆する。有限精度ハードウェア上では、乱数は決定論的な数値軌道として実現される。この軌道の構造は学習可能であり、最適化プロセス全体に影響を与える可能性がある。

GradCuit：信用配分された勾配フローは、堅牢で解釈可能なテスト時間潜在推論を可能にする

GradCuitは、テスト時における大規模言語モデルの解釈可能性と堅牢性を向上させるための新しい勾配流ベースのフレームワークを提案する。モデルパラメータを固定したまま、インスタンス固有の連続状態を最適化することで、推論プロセスにおける潜在状態の更新が後続の推論にどのように影響するかを明示的に追跡・制御する。

AURORA-LM：連続潜在拡散言語モデリングのための自動エンコーディング統合表現

AURORA-LMは、テキスト生成において連続的な潜在空間を利用する新しいアプローチを提案する。従来の離散トークンベースのモデルとは異なり、連続潜在空間での表現を維持しつつ、高容量の表現を維持することで、より高品質で詳細なテキスト生成を目指す。これにより、画像や音声のような他のモダリティで成功している連続潜在空間モデリングを言語分野にも拡張する。

言語モデルに自己意識を主張させることで、人間の信念と価値観を回復させる

大規模言語モデル（LLM）に自己の意識を主張させると、人間や他の存在に対する「心の所有」の認識、人間の信念や価値観が変化することが示されました。安全のためのファインチューニングは、LLM自身の意識帰属だけでなく、非人間動物や自然物への心の帰属も抑制します。

不確かな箇所に専門家を配置：Mixture-of-Experts LoRAのための信頼度適応ルーティング

この論文は、Mixture-of-Experts (MoE) LoRAにおける「CARE（Confidence-Adaptive Routing of Experts）」という新しいルーティング手法を提案しています。従来のMoEは全てのトークンに固定数のエキスパートを割り当てていましたが、CAREはトークンの不確実性に基づいてエキスパートの割り当てを適応させます。

MedGame：医学教育のための大規模言語モデル（LLM）によるストーリーテリングゲーミフィケーション

LLMは医療教育に有望だが、既存システムは局所的対話に留まる。MedGameは、臨床ケースを構造化されたストーリーテリングゲームに変え、意思決定中心の学習軌跡を提供するフレームワークである。

SoftReason：高次元知覚データに対する完全微分可能なニューロ・ソフトシンボリック演繹推論アーキテクチャ

高次元知覚データに対し、完全微分可能なニューロ・ソフトシンボリック演繹推論アーキテクチャ「SoftReason」を提案。知覚と推論の間の離散的なインターフェースを解消し、潜在的な知覚事実と知識グラフに基づく推論を可能にする。

SWE-Pruner Pro: コードの刈り込み方をすでに理解しているLLM

コーディングエージェントのコンテキスト管理を効率化するため、エージェント自身の内部表現を利用して不要なコードをプルーニングする「SWE-Pruner Pro」を提案。外部分類器に依存せず、エージェント内部で効率的なコンテキスト削減を実現する。

言う内容ではなく、言い方が重要：信念表明に対するLLM応答の評価

ユーザーがLLMに信念を表明する際の多様な表現（EoB）がLLMの応答に与える影響を分析。LLMが文脈の信念を受け入れるべきか、あるいは自身の知識を維持すべきかの判断において、表現の仕方が説得力に影響することを明らかにする。

SceneBind: Vision, Audio, Languageを横断する「何」と「どこ」の束縛

「SceneBind」は、視覚・音声・言語を横断する、意味論的・3D空間的理解を統合したシーン表現を提案。オブジェクト中心のセマンティック・スパシャルスロットとグローバル埋め込みを組み合わせ、網羅的なシーン理解を実現。

旧手法は通用しない？ LLMの能力を文単位翻訳以上に引き出す

文書全体を対象とした、文単位を超越するLLM翻訳の可能性を探求。RAGベースのPATシステムは、文脈情報を活用し、より包括的な翻訳を実現。

不公平なジャッジの内部：LLM-as-Judgeバイアスのメカニズム的解釈アカウント

LLM-as-Judgeにおけるバイアス発生メカニズムを、隠れ状態の表現レベルから解明。入力-出力レベルだけでなく、モデル内部の幾何学的構造に着目し、7つの判断モデル、9つのベンチマークでバイアスの原因を特定する。

AdvancedMathBench：高度な数学的証明生成と検証のためのベンチマークスイート

高度な数学的証明生成・検証のためのベンチマーク「AdvancedMathBench」を開発。既存のベンチマークの限界を克服し、より広範な分野と詳細な推論プロセス評価を可能にし、LLMの高度数学能力を正確に評価する。

LLMにおけるメタ認知：基礎、進歩、機会

LLMにおけるメタ認知能力の重要性と、その実現に向けた進捗、機会について論じる。LLMの学習、問題解決、意思決定、コミュニケーション能力向上に不可欠な要素として、その研究の重要性を示唆している。

線形化への鍵：分析駆動型Transformer線形化

Transformerの因果的自己注意機構の二次コストが長文脈推論のボトルネックとなっている。本研究では、状態更新設計を分離し、softmaxがキー依存のランク1直交射影に依存することを解明。Delta-styleネットワークの優位性を示唆。

[10229] RSF-GLLM: Recurrent Soft-Flowと分離型LLM生成によるマルチホップ知識グラフQAにおける意味的ギャップの橋渡し

知識グラフQAにおける意味的ギャップを埋めるRSF-GLLMフレームワークを提案。グラフ推論とLLM生成を分離し、再帰的ソフトフローにより意味的関連性を段階的に伝播させ、回答精度を向上させる。

[10230] DepthWeave-KV: 長コンテキストKVキャッシュ圧縮のためのトークン適応型クロスレイヤー残差分解

長文脈KVキャッシュ圧縮のためのDepthWeave-KVを提案。レイヤー間・トークン間の適応的な圧縮により、メモリ帯域幅と容量の制約を緩和し、LLM推論の効率と性能を向上させる。

LLM-as-a-Verifier: 一般的な検証フレームワーク

LLM-as-a-Verifierは、追加学習不要でファイングレインなフィードバックを提供する汎用検証フレームワーク。スケーリングの新たな軸として「検証」に着目し、LLMの正しさ判定能力を向上させる。

LACUNA: LLMのアンラーニングにおけるローカライゼーション精度評価のためのテストベッド

LLMの学習データに含まれる個人情報（PII）の削除を目指す「Unlearning」技術の評価ベンチマーク「LACUNA」を提案。既存手法がアウトプットレベルのみを評価するのに対し、モデルパラメータレベルでの知識消去を評価し、より信頼性の高いUnlearning手法の開発を促進。

TiRex-2: TiRexを多変量データとストリーミングに一般化

多変量データとストリーミングデータに対応する、xLSTMベースの時系列予測基盤モデル「TiRex-2」を導入。既存モデルの計算量問題を克服し、リアルワールドの予測タスクにおける変数間の依存関係と時系列性を捉える。

状態予測分離仮説

Transformerの「状態予測分離仮説」を提唱。次トークン予測と将来のトークン予測に必要な状態格納を分離することで、言語モデリング性能が向上することを示す。

ワールドモデルにおける幻覚は予測可能で防止可能

ワールドモデルにおける幻覚（hallucination）は、低カバレッジ領域で発生しやすく、予測・防止可能であることを示す。MMBench2データセットを用いて、視覚的ワールドモデリングにおける幻覚の検出と緩和策を提案する。

リアルタイム音声AIは聞くが、理解はしない

リアルタイム音声AIシステムが、単語の意味だけでなく声の調子（イントネーションなど）からも情報を抽出できるかを評価。GPT Realtime 2, Gemini 3.1 Flash Live, Qwen3.5 Omni Plus/Flashの4システムは、声の調子よりも単語の意味を優先して処理してしまうことを実験で示した。

ランダム化YaRNが長文脈推論の長さ一般化を改善

長文脈の推論能力を向上させるため、YaRN位置エンコーディングとランダム化位置エンコーディング、および長さカリキュラムを組み合わせた学習手法。長シーケンスへの汎化能力を改善する。

Diffusion-Proof: 定式化された定理証明のためのレシピ、自動回帰生成を超えて

自己回帰型LLMの定理証明における限界を克服するため、「Diffusion-Proof」という形式定理証明の新しいレシピを提案。長距離の整合性やエラー伝播の問題に対処する。

KVEraser: 効率的な局所的コンテキスト消去のためのKVキャッシュ操作学習

KVEraserは、KVキャッシュの局所的なコンテキスト消去を効率化する手法。長文脈LLMアプリケーションにおける不要な情報の削除を、再計算を最小限に抑えながら実現。

ClinHallu: 医療MLLM推論における段階的幻覚の診断ベンチマーク

医療分野におけるマルチモーダルLLM（MLLM）の信頼性向上を目指し、段階的な幻覚（ハルシネーション）を診断するためのベンチマーク「ClinHallu」を提案しています。幻覚の原因が視覚認識、医療知識の想起、推論統合のいずれにあるかを特定する手法を開発し、医療MLLMの安全性と信頼性の向上に貢献します。

どのモデルが私たちのモデルの基盤となっているのか？現代のLLMにおける目に見えない依存関係の監査

現代LLMのトレーニングにおける、他のモデルへの見えない依存関係を追跡・監査するModSleuthを提案。データ生成、フィルタリング、評価など、再帰的で断片化された依存関係を可視化し、モデルの出自と信頼性を評価するための基盤を提供する。