LMDeploy

书生·浦语开源的 LLM 压缩与部署工具箱。

工具介绍

项目简介书生·浦语开源的 LLM 压缩与部署工具箱。核心特性量化+服务高吞吐TurboMind 引擎获取方式通过上述官方开源仓库(通常为 GitHub)克隆或下载，按 README 安装依赖即可本地部署与二次开发。

标签：LMDeploy InternLM 部署推理