SGLang

Présentation

SGLang est un framework d’inférence open source hébergé par LMSYS pour modèles de langage et vision-langage. Installez l’environnement, chargez les poids et lancez un serveur pour recevoir génération, streaming ou appels d’outils. RadixAttention et le cache de préfixes réutilisent le contexte ; le parallélisme multi-GPU étend le service. Le dépôt comprend aussi SGLang Diffusion pour images et vidéos. Vérifiez les listes de compatibilité actuelles.

Sources officielles et références

• Site officielhttps://docs.sglang.io/

Les descriptions résument des informations publiques. Consultez les sites officiels pour les fonctionnalités, les tarifs et la disponibilité régionale.