ツール/フレームワーク初出 8/3 09:16
GitHub - sqliteai/waste: 2.78兆パラメータのKimi K3モデル全体を、NVMeからアクティブ化された重みを直接ストリーミングすることで、利用可能なRAMを超えて実行。依存関係のない、埋め込み可能なC推論エンジン。
GitHub - sqliteai/waste: Run the full 2.78-trillion-parameter Kimi K3 model beyond available RAM by streaming activated weights directly from NVMe. A dependency-free, embeddable C inference engine.
https://www.reddit.com/r/LocalLLaMA/.rss2026/8/3
AI要約
sqliteai/wasteは、2.78兆パラメータのKimi K3モデルをNVMeからストリーミングしてRAM外で実行するC言語の推論エンジンです。大規模モデルの効率的な実行を可能にします。
AI要点
- sqliteai/wasteは2.78兆パラメータのKimi K3モデルをRAM外で実行します。
- NVMeからアクティブ化された重みを直接ストリーミングする技術が採用されています。
- 依存関係のない、埋め込み可能なC言語の推論エンジンとして開発されました。
なぜ重要か
膨大なパラメータを持つ大規模言語モデルを、限られたRAM環境でも効率的に実行可能にする技術を示し、AIアプリケーションの展開可能性を広げます。