SGLang

产品介绍

SGLang 是由 LMSYS 托管的开源推理框架，可部署语言、视觉语言等模型。开发者安装运行环境、加载权重并启动模型服务器，再从应用发送生成、流式输出或工具调用请求。RadixAttention 与前缀缓存用于复用共享上下文，多 GPU 并行用于扩展服务；仓库也包含图像和视频生成引擎 SGLang Diffusion。具体模型、硬件与接口支持需要按当前兼容列表核对。

官方来源与参考资料

• 官方网站https://docs.sglang.io/

介绍按公开资料整理；功能、价格与地区可用性以官网为准。