vllm-doctor — vLLM推論サーバーの診断と監視を行うCLIツール

vLLM推論サーバーの診断と監視を行うCLIツール「vllm-doctor」の紹介。vLLMのパフォーマンスボトルネック（キュー圧力、KVキャッシュ圧力など）を特定し、改善策を提案する機能は、LLM推論の安定運用に不可欠である。