为什么会有这个文章

主要是为了有本地算力的朋友们进行扫盲,我自己是主苹果生态的,主要是为了省事、少折腾,一键部署,能服务自己使用即可.

为什么要选 llama.cpp 市面有很多替代的功能产品,比如 lm-studio 、ollama 等,其实都可以用,但是专注 mac部署本地算力来说 llama.cpp = 底层原生推理引擎（C++） 主要优势体现在

• 无中间层封装
• Mac的M系列原生适配(Metal 优化、实验室功能) 其余的网上很多, 就不一一列举.

前置依赖

cmake安装

brew install git cmake 一键安装即可

llama.cpp源码拉取

git clone https://github.com/ggml-org/llama.cpp cd llama.cpp 即可拉取, 目录根据自己的实际情况来即可

安装&编译

# 删除旧build文件夹（如果存在）
rm -rf build 
mkdir build && cd build 
# CMake配置：开启Metal、Release正式构建 
cmake -DGGML_METAL=ON -DCMAKE_BUILD_TYPE=Release .. 
# 多核编译 
cmake --build . -j$(sysctl -n hw.logicalcpu)

等待编译完成。 编译成功后所有二进制文件在：llama.cpp/build/bin/

模型来源

• 新版 llama.cpp 只支持 .gguf, 推荐国内直接去 https://hf-mirror.com/ 下载模型,有条件的也可以去huggingface.co 下载gguf的即可
• 可以用 lm-studio 下载gguf模型,然后可以和 llama.cpp通用 可以先创建一个公共模型文件夹mkdir -p ~/ai_models/GGUF 把所有的模型后续都放这里.