VRAMは束ねない。NVIDIA PAIRが家庭内PCを推論クラスタに変える仕組み

NVIDIA PAIRは、家庭内PCを推論クラスタに変える技術です。ローカルLLMを複数台のPCで実行する際に、独立したリクエストの待ち時間を短縮し、処理能力を向上させます。公式デモでは処理時間が大幅に短縮されました。これは、GPUリソースの効率的な活用に焦点を当てたハードウェア関連の進展と言えます。

• NVIDIA PAIRは、家庭内PCのローカルLLM推論を高速化する、OSSのローカル推論ルーターである。
• PAIRは複数のGPUを束ねるのではなく、独立したリクエストを処理可能なノードへ分散させる。
• これにより、AIエージェントが同時に多数のリクエストを送信する際の待ち行列（キュー）を削減する。
• Windows、Linux、macOSが混在するネットワークに対応し、OllamaやLM Studioと連携する。
• リクエストの行き先は、mDNSによる発見、PINによる信頼関係構築、モデル適格性判定、負荷ベースのスケジューリングの4段階で決定される。