Category · 10ページ目

LLM推論

40件

LLM推論初出 9/4 01:30

Qwen3.8-Flash-Next MTPがik_llama.cppにマージ（一体型ヘッドまたは別ファイル）、5090+128GBで45→90トークン/秒、12GB 4070でも動作

Qwen3.8-Flash-Nextモデルがllama.cppに統合され、パフォーマンスが向上したという報告です。具体的には、RTX 5090と128GBメモリ環境で45トークン/秒から90トークン/秒に向上し、12GBのRTX 4070でも動作可能であることが示されています。ローカル環境でのAI推論速度の向上が、より多くのユーザーにとって利用しやすさを向上させます。

https://www.reddit.com/r/LocalLLaMA/.rss

LLM推論2本の記事が同じ件を報じた初出 9/4 03:38

本番スケールでの耐故障性ビジュアル推論クラスターのエンジニアリング

マルチモーダルAI生成システムにおける推論クラスタのレイテンシ短縮とキャッシュ最適化の重要性を解説。大規模モデルに対応するための技術的課題に焦点を当て、商用クリエイティブ基盤の文脈で考察しています。

https://qiita.com/tags/AI/feed.atom

LLM推論7本の記事が同じ件を報じた初出 9/4 03:06

LLM推論

Qwen3.8-Flash-Next MTPがik_llama.cppにマージ（一体型ヘッドまたは別ファイル）、5090+128GBで45→90トークン/秒、12GB 4070でも動作

本番スケールでの耐故障性ビジュアル推論クラスターのエンジニアリング

GPT-6 Astra登場：AGI時代幕開けか、とOpenAIは考える

Legora、GPT-6 Astraで数分で41件の文書をレビュー

WeatherNext 3登場：当社の最も高度で正確なグローバル気象AIモデル

OpenAI、強力で（賛否両論の）新モデルAstraを発表

Anthropic、データ保持の反発後に顧客管理AI監視を計画

ChatGPT For Healthcare、患者記録アクセスを追加

NECのAI予測で強い免疫応答が1年以上持続！再発リスクが高いがん患者を救う「個別化ワクチン」の臨床成果

「NeoMME」：効率的なマルチモーダルネイティブ・多言語エンコーダー

ユーザーフィードバックはLLMが検出できないユニークな信号を提供する

「下積み20年やれと？」──生成AI活用、若手が投げかけた問い 社長の答えは？

Claudeの“見えない透かし”運用開始 Fable 5.1とMythos 5.1が出力する文やコード、画像に付与 日本も対象

オープンモデル普及で“お手軽”になるサイバー攻撃 防御側が今すべき「侵入前提」の対策

Googleが「Gemini 3.8 Flash」をリリース、2027年から価格2倍に

Metaが「Muse Spark 1.3」を発表、ついにAnthropicやOpenAIの最先端モデルに追いつく性能を達成

KVキャッシュは、ローカルモデルにとってパラメータ数よりも大きな問題になる可能性

Qwen3.8-Flash-Next on 2x3090 + DDR4：エキスパートキャッシュPRで17 → 25-29 t/s デコード

AIはなぜ質問に答えられるのか？知っておくべき3つのメカニズム

AIに酷評を頼んでも和らぐ理由を先に聞き、プロンプトを2段階で書き直す

入力・出力データの学習利用をオプトアウトできますか？

GoogleがGemini 3.8 Flashを出荷、6週間で3番目のFlashモデル

MicrosoftはなぜMAI‑Thinking‑1を一般宣伝しないのか？ M365 Copilotの頭脳として静かに動いている訳は

Dysonの499ドルカメラジェット歯ブラシ、AIで歯に水流を正確に照射

AIモデルのベンチマーキング

OpenAI、次期Astraモデルはゼロデイを発見、サイバーアクセスを分割予定

Metaがリアルタイム文字起こしAI「Muse Voice Transcribe」をリリース

DeepSeekが画像認識に対応した「DeepSeek-V4-Flash-Vision-Exp」をオープンモデルとして公開、画像認識を含むタスクでClaude Opus 4.8と同等の性能

2xr9700'sと940kトークンKVキャッシュでQwen3.8 27Bを280 tok/sで実行する方法

StudentSim：LLMベースの学生シミュレーターのトレーニング

Anthropic、企業向け「Enterprise Frontier Safeguards」発表 ログは顧客のクラウドに保存し、人手による確認も顧客側で

OpenAI、サイバークリティカル閾値の最初のモデルであるAstraを抑制

画像も動画も3D空間も生成可能な世界モデル「Atlas」が登場、「1枚の画像から3D空間を生成」「指示に忠実なカメラワーク」「1440pの動画生成」など多機能なモデル

「キャッシュ読出がトークンの81倍」はコストの話ではなかった — 課金の3分の1は書込で、同じ内容を平均3.7回書いていた

Anthropic、新モデルFable 5.1でClaudeをアップグレード

Voiset 2.0にアラビア語対応、Claude内で1日の業務をこなせるように

AIエージェントがRedshiftを操作してDWH構築や集計分析など可能に、Amazon RedshiftがAgent Toolkit for AWSと統合

NVIDIA、DLSS 5を9月3日にリリース、NBA 2K27と共に登場もRTX 50のみ対応

Gemini 3.8 Flash、Tencentの論文からリークも、たった1行の情報

質問：vLLMは他の推論エンジンよりプリフィルが桁違いに速いのはなぜか？

「下積み20年やれと？」──生成AI活用、若手が投げかけた問い　社長の答えは？

Claudeの“見えない透かし”運用開始　Fable 5.1とMythos 5.1が出力する文やコード、画像に付与　日本も対象

オープンモデル普及で“お手軽”になるサイバー攻撃　防御側が今すべき「侵入前提」の対策

Anthropic、企業向け「Enterprise Frontier Safeguards」発表　ログは顧客のクラウドに保存し、人手による確認も顧客側で