TOOLORA / 로컬 읽기 버전
SGLang
언어·멀티모달 모델 추론 프레임워크. 접두사 캐시와 다중 장치 병렬 처리로 모델을 서빙합니다.
제품 소개
SGLang은 LMSYS가 호스팅하는 언어·시각 언어 모델 등의 오픈 소스 추론 프레임워크입니다. 환경을 설치하고 가중치를 로드한 뒤 서버에 생성·스트리밍·도구 호출 요청을 보냅니다. RadixAttention과 접두사 캐시로 공통 문맥을 재사용하고 다중 GPU로 서비스를 확장합니다. 이미지·영상용 SGLang Diffusion도 저장소에 포함됩니다. 현재 모델·하드웨어·API 호환 목록을 확인해야 합니다.
공식 출처와 참고 자료
- 공식 사이트https://docs.sglang.io/
공개 정보를 정리한 소개입니다. 기능, 가격, 지역별 제공 여부는 공식 사이트를 확인하세요.