vLLM

将语言模型部署成推理服务，结合 KV 缓存管理、连续批处理、量化和多卡并行处理请求。