vLLM publie v0.32.0
Ajoute décisions structurées, parseurs génériques et caches KV basse précision selon matériel et modèle.
vLLM ↗Fiche produit →TOOLORA / Édition locale
vLLM
Déployez des modèles de langage avec gestion du cache KV, batching continu, quantification et parallélisme multi-accélérateur.
Présentation
vLLM est un moteur open source d’inférence et de service de modèles de langage. Configurez modèle et matériel pour générer par lots ou lancer un serveur API. PagedAttention, batching continu et cache de préfixes gèrent mémoire et ordonnancement ; quantification, sorties structurées et inférence distribuée sont aussi disponibles. Le projet ne fournit ni poids ni calcul hébergé. Compatibilité et performances dépendent du modèle, du backend et de la configuration.
Historique des mises à jour
Sources officielles et références
- Site officielhttps://docs.vllm.ai/en/latest/
Les descriptions résument des informations publiques. Consultez les sites officiels pour les fonctionnalités, les tarifs et la disponibilité régionale.