HuggingFace 开源的生产级文本生成推理服务。
访问TGI官网
项目简介HuggingFace 开源的生产级文本生成推理服务。核心特性高性能服务张量并行OpenAI 接口获取方式通过上述官方开源仓库(通常为 GitHub)克隆或下载，按 README 安装依赖即可本地部署与二次开发。
标签：TGI HuggingFace 推理 服务
分类：推理与部署工具