vLLM publica v0.32.0
Añade decisiones estructuradas, analizadores genéricos y cachés KV de baja precisión según modelo y hardware.
vLLM ↗Ficha del producto →TOOLORA / Edición local de lectura
vLLM
Sirve modelos de lenguaje con gestión de caché KV, lotes continuos, cuantización y paralelismo entre aceleradores.
Descripción
vLLM es un motor abierto de inferencia y servicio de modelos de lenguaje. Se configura modelo y equipo para generar por lotes o iniciar un servidor API. PagedAttention, lotes continuos y caché de prefijos gestionan memoria y planificación; admite cuantización, salidas estructuradas e inferencia distribuida. No proporciona pesos ni cómputo alojado. Compatibilidad y rendimiento dependen del modelo, backend y configuración.
Historial de actualizaciones
Fuentes oficiales y referencias
- Sitio oficialhttps://docs.vllm.ai/en/latest/
Las descripciones resumen información pública. Consulta los sitios oficiales para funciones, precios y disponibilidad regional.