llama.cpp: lazy-modeのデフォルトがautoに変更 - 大規模テーブルはディスクに残る可能性あり

llama.cppのlazy-modeのデフォルト設定が変更され、大規模なn-gram埋め込みテーブルがディスク上に保持されるようになったことに関する警告です。推論速度への影響と、対応策としてのフラグ設定について説明しています。

• llama.cppのlazy-modeのデフォルトがautoに変更された。
• 大規模なn-gram埋め込みテーブルはディスク上に残る可能性がある。
• 推論速度に影響を与える可能性があり、設定変更が必要な場合がある。
• パフォーマンス維持のため、特定のフラグ設定が推奨されている。