llama.cpp

以 C/C++ 运行本地模型，提供命令行、量化工具及带网页界面的模型服务器。