TOOLORA / 本地阅读版
llama.cpp
以 C/C++ 运行本地模型，提供命令行、量化工具及带网页界面的模型服务器。
产品介绍
llama.cpp 是 ggml-org 维护的模型推理项目，不是名为 Llama 的单一模型。用户准备兼容的模型文件后，可通过命令行运行对话，或启动带网页界面和兼容 API 的服务器。项目支持 GGUF 模型工作流、量化和多种 CPU／GPU 后端，适合在本地或自有环境集成推理。模型文件、许可与硬件支持应分别核对，不能仅凭项目名称推断任意模型都能运行。
官方来源与参考资料
- 官方网站https://github.com/ggml-org/llama.cpp
- 官方文档https://github.com/ggml-org/llama.cpp/tree/master/tools/server
介绍按公开资料整理；功能、价格与地区可用性以官网为准。