LLM推論初出 8/28 22:30
Ollamaのnum_ctxはdefault 2048 — Qwen3 32Bで実装した瞬間、文脈が切れて回答が破綻します
https://qiita.com/tags/AI/feed.atom2026/8/28
AI要約
Ollamaのデフォルト設定である`num_ctx=2048`では、Qwen3 32BモデルでRAG、マルチターン会話、長文生成を行う際に文脈が途切れ、回答が破綻する問題が報告されています。これは、LLMの文脈長設定の重要性を示唆しています。
AI要点
- Ollamaのデフォルトのコンテキスト長(num_ctx)は2048トークンであるが、Qwen3 32Bモデルでは不足し、回答が破綻する。
- RAG、マルチターン会話、長文生成の3タスクにおいて、デフォルト設定では78%以上の破綻率が観測された。
- Qwen3 32Bはネイティブで32,768トークン、YaRN併用で131,072トークンを扱えるため、ランタイムのデフォルト値との乖離が大きい。
- Ollamaは文脈溢れをエラーとせず、古い情報を切り捨てるため、破綻に気づきにくい。
- コンテキスト長の設定は、vLLMやllama.cppなど他のランタイムにも通じる原則であり、デフォルト値は疑い、実タスクに必要な長さを逆算することが重要である。
なぜ重要か
ローカルLLM環境におけるコンテキスト長のデフォルト設定の不備は、モデル本来の性能を引き出せず、実用的なタスク遂行能力を著しく低下させる。適切な設定の必要性を啓発する点で重要である。