vLLM v0.32.0 출시
구조화 판단, 범용 파서와 저정밀 KV 캐시를 확대하며 모델·하드웨어별 조건이 적용됩니다.
vLLM ↗제품 정보 →TOOLORA / 로컬 읽기 버전
vLLM
KV 캐시 관리, 연속 배칭, 양자화와 다중 장치 병렬 처리를 활용해 언어 모델을 추론 서비스로 배포합니다.
제품 소개
vLLM은 언어 모델 추론·서빙용 오픈 소스 엔진입니다. 모델과 하드웨어를 지정해 일괄 생성하거나 API 서버를 실행합니다. PagedAttention, 연속 배칭과 접두사 캐시로 메모리·스케줄링을 관리하며 양자화, 구조화 출력과 분산 추론을 지원합니다. 가중치나 호스팅 연산 자원은 별도로 준비해야 하며 호환성과 성능은 구성에 따라 다릅니다.
업데이트 기록
공식 출처와 참고 자료
공개 정보를 정리한 소개입니다. 기능, 가격, 지역별 제공 여부는 공식 사이트를 확인하세요.