模型工程与部署
建议阅读顺序
跳转到“建议阅读顺序”- ONNX:计算图、版本与模型检查
- ONNX Runtime:输入检查、执行后端与推理验证
- ONNX Simplifier:简化图并验证数值
- 模型导出与部署:PyTorch、ONNX 到 TensorRT
- TensorRT:推理内存、执行上下文与版本迁移
自定义 GPU 运算
跳转到“自定义 GPU 运算”前三篇共用一个小型仿射模型,便于逐步验证。PyTorch 导出与 GPU 示例均注明了环境要求和实测范围。
前三篇共用一个小型仿射模型,便于逐步验证。PyTorch 导出与 GPU 示例均注明了环境要求和实测范围。