Triton Inference Server

NVIDIA 开源的统一推理服务，支持多框架多模型。

工具介绍

项目简介NVIDIA 开源的统一推理服务，支持多框架多模型。核心特性多框架动态批处理生产级获取方式通过上述官方开源仓库(通常为 GitHub)克隆或下载，按 README 安装依赖即可本地部署与二次开发。

标签：Triton NVIDIA 推理服务部署