llama.cpp

纯 C/C++ 量化推理库，可在 CPU/边缘设备跑 LLM。

访问llama.cpp官网

工具介绍

项目简介纯 C/C++ 量化推理库，可在 CPU/边缘设备跑 LLM。核心特性量化推理跨平台边缘友好获取方式通过上述官方开源仓库(通常为 GitHub)克隆或下载，按 README 安装依赖即可本地部署与二次开发。

功能特点

• 量化推理 跨平台 边缘友好

标签：llama.cpp 量化 CPU 推理

分类：推理与部署工具