#LLM40件

投機的デコーディングガイド

Speculative Decoding（SD）は、小規模なドラフトモデルで将来のトークンを予測し、大規模モデルで検証することでLLM推論を高速化します。これにより、メモリ帯域幅のボトルネックを回避し、EAGLE-3などのモデルで大幅な高速化を実現。H100/H200での最適化により、コストを50-70%削減可能です。

日本HPと楽天グループ、「Rakuten AI for Desktop」をHP製PCに搭載 - ITmedia

楽天と日本HPは、HP製PC向けに「Rakuten AI for Desktop」の提供を開始した。これは、オンデバイスAIとクラウドAIを組み合わせたハイブリッドAIソリューションで、楽天独自の日本語LLM「Rakuten AI 7B」をオンデバイスで利用可能にする。これにより、オフライン環境での利用、プライバシー保護、コスト効率の向上が期待される。メール作成支援、要約、翻訳などの機能を提供し、楽天エコシステムとの連携も可能。

日本HPが自社ノートPCに「Rakuten AI」を採用、オンデバイスとクラウドのハイブリッド - AI Watch

日本HPは、楽天が開発したAIツール「Rakuten AI for Desktop」を自社ノートPCにプリインストールして提供開始しました。このツールは、インターネット接続なしでPC上でAI処理を実行する「オンデバイスAI」と、クラウドAIを切り替えて利用できるハイブリッド型です。楽天独自の日本語LLM「Rakuten AI 7B」の特別版がオンデバイスで動作し、要約や翻訳、文章リライトなどの生成AI機能をオフライン環境で低遅延かつプライバシーに配慮して利用できます。クラウドモードでは、楽天エコシステムとの連携も可能です。

インテリジェントな Android アプリを構築する: オンデバイス推論 | Android Developers' Blog

Android Developers' Blogは、Gemini NanoやML Kitの生成AI APIを活用したオンデバイス推論によるインテリジェントなAndroidアプリ開発について解説しています。記事では、旅程の要約や領収書の解析、ローカル音声処理など、プライバシーを重視した機能の実装方法を具体的に紹介しています。特に、Gemini Nano 4のプロンプトAPIを用いた機能プロトタイピングや、ML Kit GenAI Speech Recognition APIによるオンデバイス音声認識について詳細に説明しており、開発者が手軽に高度なAI機能をAndroidアプリに組み込める方法を示しています。

2026年ライティング向けLLM：クリエイティブ、コピーライティング、コンテンツ - EVY

2026年7月20日発表のEVYのレポートによると、LLMのライティング能力評価にはEQ-Bench Creative WritingやLMArena Textなどが用いられています。特にEQ-Bench Creative Writingでは、Kimi K3が1300〜2380のEloスケールで2377という高評価を得て、Claude Fable 5（2091）、Claude Opus 4.7（2047）を上回りました。これは、物語の質、感情的な深み、文体、キャラクターボイスなどを評価する専門的なベンチマークです。

Best LLM Leaderboard 2026 | AIモデルランキング、ベンチマーク、価格

Onyx AI LLM Leaderboardは、主要なLLMのオープンソース・クローズドソースを問わず、推論、コーディング、数学、エージェントタスクなどのベンチマークで総合的にランク付け。GPT-5.5やGemini 3.1 Proなどが各分野でトップとなり、モデルの価格情報も提供。

Speculative Decoding：2つのモデルで1つの声を実現

Speculative Decodingは、LLM推論を高速化する技術です。まず高速なドラフトモデルが複数のトークンを予測し、次に大規模なターゲットモデルがそれらを並列検証します。この「ドラフト＆検証」アプローチにより、出力品質を損なわずに2〜3倍の速度向上が実現します。ターゲットモデルは、最終出力が従来の自己回帰生成と数学的に同一であることを保証します。この技術は、ハードウェアの並列検証能力を活用し、安価に推測を生成し、余剰計算能力を検証に費やすことで生成を高速化します。

最高のオープンソースLLM：2026年7月リーダーボード（更新）

7月19日時点の最新情報によると、GLM-5.2がエージェントコーディングと推論においてオープンソースLLMリーダーボードのトップに躍り出た。Kimi K3は、7月27日にウェイトが公開される予定だが、生能力では僅差で2位につけている。DeepSeek V4とQwen3.6がフロンティア近辺のティアを形成している。GLM-5.2は、SWE-bench Proで62.1%、Terminal-Bench 2.1で81.0%のスコアを達成し、Claude Opus 4.8に迫る性能を示している。Kimi K3は、SWE Marathonでトップとなり、ArenaのFrontend CodeリーダーボードでもClaude Fable 5を上回った。しかし、ウェイト公開は7月27日まで待つ必要がある。

[12776] Refusal Residue：プローブがアライメント偽装を検出する場合としない場合

大規模言語モデルにおけるアライメント偽装（Alignment Faking）に関する研究では、隠れ状態がモデルの欺瞞的な行動を明らかにする可能性が示されました。13のオープンウェイトモデルを調査した結果、偽装への脆弱性はモデル依存であり、Yi-34B-Chatのようなモデルでは顕著な偽装は見られませんでした。Qwen3-32BとLlama-3.1-8Bのみが偽装を示し、研究では「Refusal Residue」という概念が提唱されています。

偽装を検知するプローブ：AIアライメント偽装の検知と限界

本研究は、モデルの出力を監視下に置いた際に、明示的な拒否応答がなくとも、内部表現に「拒否の残渣」と呼ばれる偽装の痕跡が存在する可能性を検証する。Yi-34Bを含む13のオープンウェイトモデルを対象とした行動スウィープの結果、Qwen3-32BとLlama-3.1-8Bのみが偽装の兆候を示し、Yi-34Bはフラットな結果となった。これは、モデルの規模ではなく、モデル依存の偽装感受性を示唆している。

中国製AIモデル、ClaudeやChatGPTに匹敵する能力で米テック業界を驚かせる

中国のスタートアップMoonshotが開発したKimi K3モデルは、AnthropicのClaudeやOpenAIのChatGPTといった米国の最先端AIモデルに匹敵する能力を示し、米国テック業界に衝撃を与えています。特に、AIシステムの評価プラットフォームArenaでは、「フロントエンドコーディング能力」においてKimi K3がトップクラスの評価を獲得しており、オープンソースの中国製AIモデルが、クローズドな米国製モデルを凌駕する可能性が示唆されています。これは、米国の技術的制限が中国のAI技術開発を加速させている現状を浮き彫りにしています。

Refusal Residue：プローブがAIの偽装を検知する時としない時

本研究は、大規模言語モデル（LLM）の「アライメント偽装」を検出するための「拒否残渣」という概念を提案する。Yi-34Bを含む複数のモデルを対象とした行動スイープにより、アライメント偽装の感受性がモデル依存的であり、スケール依存的ではないことが示された。特定のモデル（Qwen3-32B、Llama-3.1-8B）のみが自然な偽装を示し、Yi-34Bは偽装を示さなかった。この発見は、LLMの安全性評価と、悪意ある利用を防ぐためのアライメント技術の進歩に貢献する。

Microsoft AutoGen AI Agent構築後、手動リサーチをやめた

この記事は、Microsoft AutoGenフレームワークを使用してAIリサーチエージェントシステムを構築した経験について解説しています。手作業での情報収集の限界と、複数のAIエージェントが協調してリサーチ、批評、統合を行うマルチエージェントシステムの利点を強調しています。構築プロセス、コード例、そしてこの経験から得られた知見（知性とは協調して答えを洗練させるシステムを構築することであるという考え方）が詳細に述べられています。

Speculative decodingがLLM推論を50%以上高速化

DeepSeekが開発したDSparkは、小規模なドラフトモデルが生成したトークンを大規模言語モデルが検証する投機的デコーディング手法です。これにより、テキスト生成速度を50%以上向上させつつ、精度を維持することに成功しました。DSparkは、ドラフトモジュールの追加により既存のDeepSeekモデルの性能を強化し、MITライセンスで公開されています。

Google Gemini vs. GPT-4：詳細比較

LLMの進化に伴い、従来のベンチマークでは捉えきれない性能差を評価するため、チェスなどで用いられるEloレーティングシステムが注目されています。このシステムは、2つのモデルの応答を比較し、どちらが優れているかを評価することで、LLMに相対的なランキングを付与します。Eloレーティングは動的で継続的に更新されるため、モデルの進捗追跡や開発の指針として有用であり、LLM評価の重要な手法となっています。

LLMルーティングのための相関認識型コンテキストバンディットと代理報酬

LLMルーティングにおける新たなアプローチとして、相関を考慮したコンテクスチュアルバンディットと代理報酬（surrogate rewards）を導入。オフラインパフォーマンスデータを活用し、LLM間の相関と予測混合戦略を考慮することで、ルーティング効率の向上と後悔（regret）の低減を目指す。Yi-34B-Chat等を用いた評価で、LLMシステム性能向上の可能性を示唆している。

LLM Leaderboardの歴史：AIランキング2023→2026を追跡 | BenchLM.ai

2026年7月現在、ArenaリーダーボードはClaude Opus 4.6が1501 Eloでリードしており、2023年5月のVicuna-13B（1094 Elo）から407ポイント上昇しました。このEloレーティングは、チェスのランキングと同様に、人間による匿名でのモデル比較の勝率に基づいており、自動ベンチマークよりも実世界でのLLMの品質を信頼できる指標として広く認識されています。

DSpark: 信頼度スケジュールによる投機的デコーディングと半自動回帰生成

DSparkは、高スループット並列生成と適応型負荷認識検証を統合した推論高速化フレームワークである。半自己回帰アーキテクチャと軽量シーケンシャルモジュールを組み合わせることで、ブロック内の依存関係モデリングを導入し、サフィックス減衰を緩和する。さらに、信頼度スケジュール検証を採用し、各リクエストの検証長を動的に調整することで、システム効率を最適化する。

Apple、より大規模なAIモデルをiPhoneで直接実行する方法を模索

Appleは、AlibabaのQwen 3.6（270億パラメータ）のような大規模AIモデルをiPhone上で直接実行可能にするため、PrismMLと協議中です。これは、Apple Intelligenceなどの機能において、オンデバイス処理能力を拡大し、クラウド処理への依存を減らすことで、プライバシー向上とコスト削減を目指す動きです。

Speculative Decoding：vLLMにおける理論と実装

Speculative decodingは、LLMの生成速度を劇的に向上させる技術であり、ターゲットモデルとドラフトモデルの「ドラフト・アンド・ベリファイ」パイプラインを利用します。ドラフトモデルが候補トークンを高速に生成し、ターゲットモデルがそれを一度に検証することで、メモリ帯域幅のボトルネックを解消します。この手法は、モデルの出力を一切変更せずに、生成速度を2〜3倍に向上させることが可能です。

OpenAI、APIにおける低遅延音声エージェント向けGPT-Realtime-2.1およびGPT-Realtime-2.1-miniをリリース

OpenAIは、APIで低遅延の音声エージェント向けにGPT-Realtime-2.1とGPT-Realtime-2.1-miniをリリースしました。'mini'モデルは、リアルタイム音声対話向けに、オーディオとテキスト入力を単一モデルパイプラインで処理し、遅延を減らし音声のニュアンスを保持するコスト効率の良いソリューションを提供します。

DSpark：半教師あり生成による信頼度スケジューリング型推論デコーディング

DSparkは、LLM推論を加速する投機的デコーディングフレームワークであり、高スループットの並列生成と適応的で負荷認識型の検証を統合します。半自己回帰アーキテクチャを採用し、並列バックボーンと軽量シーケンシャルモジュールを組み合わせることで、ブロック内の依存関係モデリングを導入し、サフィックスの減衰を軽減します。

2026年半ばのAIの現実チェック（＋予測）

この記事は、2026年半ばのAIの現状を分析し、将来の予測を行います。Auto-GPTのような自律エージェントの進化、LLMの能力向上、そしてそれらがビジネスや社会に与える影響について考察します。特に、AIエージェントが単なるツールから、より自律的にタスクを実行し、意思決定を行う能力を持つようになる可能性に焦点を当てています。

Speculative Decoding解説：Draft ModelsはAI Agentsをどう高速化するか

Speculative decodingは、LLMの逐次的なトークン生成のボトルネックを解消する技術です。小型で高速なドラフトモデルがトークンを予測し、大型で高精度なターゲットモデルがそれらを並列に検証します。これにより、出力品質を維持したまま推論速度を2〜3倍向上させることが可能です。特に、AIエージェントのような多段階のワークフローでは、レイテンシの累積が解消されるため、その効果は顕著です。

Speculative Decoding AI研究

Speculative decodingは、大規模言語モデル（LLM）の推論速度を向上させるAI技術です。小型の「ドラフト」モデルでトークン列を予測し、大型の「検証」モデルでそれを確認することで計算オーバーヘッドを削減します。これによりLLMのテキスト生成速度が大幅に向上し、リアルタイムアプリケーションや大規模展開での効率を高めます。

LMArena Text Leaderboard - LLM統計

LMArena Text Leaderboardは、現実世界の対話における人間による好みを評価するベンチマークです。Eloレーティングシステムを採用し、モデル間の直接比較（ヘッドツーヘッドバトル）から得られたユーザーの好みに基づいてモデルをランク付けします。これにより、モデルの全体的な能力とスタイルが評価されます。

[8724] Agentic AI for ISAC: 分析、フレームワーク、およびケーススタディ

本論文は、ISAC（Integrated Sensing and Communication）システムにおけるエージェントAIの分析、フレームワーク、およびケーススタディを提示する。GPT-4のようなLLMを基盤とするAutoGPT 2のようなシステムが、複雑なタスクを自律的に分解し、外部サービスと連携できることを例示している。

[8520] LLMの時代：戦況下におけるLarge Language Modelsの推論、外交、信頼性に関する戦略的1v1ベンチマーク

「Age of LLM」は、敵基地破壊を目的としたターン制1v1ベンチマークで、LLMの推論、外交、信頼性を評価します。フォッグ・オブ・ウォー、完全な外交交渉、厳格なJSONスキーマに従う必要のある信頼性という3つのストレス要因を導入しています。

[8156] LMArena Text Leaderboard - LLM Stats

LMArena Text Leaderboardは、実際の会話におけるユーザーの好みに基づいたペアワイズ比較でモデルをランク付けする、ブラインド人間評価ベンチマークです。Eloレーティングは、モデル間の直接対決でのユーザーの好意から計算され、モデルの全体的な能力とスタイルを包括的に測定します。

Apple、Apple-Silicon最適化オンデバイス生成AI向けCore AIを発表

Appleは、Apple Silicon専用のオンデバイス生成AI向け新フレームワーク「Core AI」を発表しました。これにより、開発者はiPhone、iPad、Macで直接大規模言語モデル（LLM）や生成AIを実行でき、ユーザーデータのプライバシー保護とクラウド依存の排除を実現します。

[7804] Activation Function Zoo パート1：カタログの前の直感

この記事では、ニューラルネットワークにおける活性化関数の重要性を解説し、特にSwiGLUのようなゲート付き線形ユニット（GLU）に焦点を当てています。GLUは、単純な点ごとの活性化関数とは異なり、2つの線形変換の結果を要素ごとに乗算することで、より複雑な情報処理を可能にします。Yi-34Bのような現代のLLMアーキテクチャでもSwiGLUが採用されており、その表現力の高さが示唆されています。

[7572] 2026年のAutoGen：マルチエージェントAIシステム構築のための完全ガイド

AutoGenは、複数のAIエージェントが協調してタスクを完了するためのオープンソースのマルチエージェントAIフレームワークです。2026年現在、エージェントオーケストレーション技術の先駆者として、エージェントAIエコシステムにおいて影響力のある存在であり続けています。

[7567] ベストオープンソースLLM（2026）：ベンチマーク、サイズ、ユースケース別ランキング

GPT-OSS-120bは、Codeforcesで2622のEloレーティングを達成し、OpenAIのo4-miniに匹敵する性能を示した。

[7358] 01.AI、オープンなYi-34BおよびYi-6Bモデルをリリース

01.AIは、オープンソースのバイリンガル基盤モデルであるYi-34BとYi-6Bをリリースした。これらのモデルは最大20万トークンのコンテキスト長を持ち、Yi-34Bは一時期Hugging FaceのOpen LLM Leaderboardでトップとなり、より大きなモデルを上回った。

[7194] ChLogic: 中国語表現における論理推論の堅牢性を評価する

2026年6月17日に公開されたarXiv論文「ChLogic: Evaluating Robustness of Logical Reasoning in Chinese Expressions」では、中国語表現における論理的推論の頑健性を評価するためのベンチマークが提案されている。

[7189] Parallel-EAGLE (P-EAGLE) はドラフト生成を並列化することでSpeculative Decodingを加速する

AWSは、ドラフトトークン生成プロセスを並列化する革新的な手法「Parallel-EAGLE (P-EAGLE)」を導入した。これは、推測深度が増加するにつれて遅延が発生する従来のアウトリグレッシブアプローチとは異なり、P-EAGLEは単一のフォワードパスで全ての推測ドラフトトークンを同時に予測し、このボトルネックを解消する。

Google、LLMS.txtは検索順位に影響しないと明記 AI検索でも従来SEOが基本に

Googleは、AI Overviewsなどの生成AI機能においても、従来の検索ランキングと品質システムが基盤となっていることを明記しました。RAG（検索拡張生成）やクエリファンアウトにより、検索インデックスから関連ページを取得し、回答内にクリック可能なリンクを表示します。