---
id: "b634"
language: "zh"
library: "tools"
official_url: "https://docs.vllm.ai/en/latest/"
profile_updated_on: "2026-10-22"
---

# vLLM

将语言模型部署成推理服务，结合 KV 缓存管理、连续批处理、量化和多卡并行处理请求。

- 公司／组织: vLLM Project
- 分类: 模型开发
- 官方网站: [https://docs.vllm.ai/en/latest/](https://docs.vllm.ai/en/latest/)
- 档案更新: 2026-10-22


## 产品介绍

vLLM 是部署和运行语言模型推理的开源引擎。开发者指定模型与硬件配置后，可在进程中批量生成，也可启动兼容接口供应用发送请求。PagedAttention、连续批处理和前缀缓存用于管理推理内存与调度，框架还支持量化、结构化输出和分布式推理。它本身不提供模型权重或托管算力，实际兼容性与性能取决于模型、后端和部署配置。

## 官方来源与参考资料

- [官方网站](https://docs.vllm.ai/en/latest/)

## 更新记录

### vLLM 发布 v0.32.0

2026-10-18

增加结构化决策接口、通用解析器和更多低精度 KV 缓存支持；硬件与模型条件分别适用。

[vLLM](https://github.com/vllm-project/vllm/releases/tag/v0.32.0)

## 阅读与订阅

- [交互版档案](../../../products/vllm--b634.html)
- [阅读](../../../read/zh/products/vllm--b634.html)
- [JSON](../../../read/zh/products/vllm--b634.json)

介绍按公开资料整理；功能、价格与地区可用性以官网为准。