TOOLORA / 로컬 읽기 버전
llama.cpp
C/C++로 로컬 모델을 실행하며 CLI, 양자화 도구와 웹 인터페이스를 갖춘 모델 서버를 제공합니다.
제품 소개
llama.cpp는 ggml-org가 유지하는 모델 추론 프로젝트이며 단일 Llama 모델이 아닙니다. 호환 모델 파일로 CLI 대화를 실행하거나 웹 화면·호환 API를 갖춘 서버를 시작할 수 있습니다. GGUF, 양자화와 여러 CPU·GPU 백엔드를 지원해 로컬·자체 환경에 통합합니다. 모델 파일, 라이선스와 지원 장치는 각각 확인해야 합니다.
공식 출처와 참고 자료
- 공식 사이트https://github.com/ggml-org/llama.cpp
- 공식 문서https://github.com/ggml-org/llama.cpp/tree/master/tools/server
공개 정보를 정리한 소개입니다. 기능, 가격, 지역별 제공 여부는 공식 사이트를 확인하세요.