TOOLORA / Edición local de lectura
SGLang
Framework de inferencia para modelos de lenguaje y multimodales, con caché de prefijos y servicio multiacelerador.
Descripción
SGLang es un framework abierto alojado por LMSYS para inferencia de modelos de lenguaje y visión-lenguaje. Se instala el entorno, cargan pesos y ejecuta un servidor para recibir generación, streaming o llamadas a herramientas. RadixAttention y la caché de prefijos reutilizan contexto; el paralelismo multi-GPU amplía el servicio. El repositorio también incluye SGLang Diffusion para imagen y vídeo. Deben verificarse las listas actuales de compatibilidad.
Fuentes oficiales y referencias
- Sitio oficialhttps://docs.sglang.io/
Las descripciones resumen información pública. Consulta los sitios oficiales para funciones, precios y disponibilidad regional.