SGLang

面向语言与多模态模型的推理框架，利用前缀缓存和多卡并行部署模型服务。