0x16 - TensorRT 使用之环境搭建
TensorRT
Nvidia 的 TensorRT 是一套专注于为深度学习加速的推理开发框架,面向的自然是机器学习相关的应用。
而能够运用这套推理框架的,自然也是 Nvidia 的 GPU 了。
将 ONNX 或 libtorch 的模型导出为 TRT-Engine 以后,这套开发框架能为深度学习应用提供可观的速度优化。
就此告别推理速度过慢的烦恼。
本文旨在建立一套可以根据需求配置的 TensorRT 开发环境,
具体在部署阶段如何精简库文件需要根据自己的需求来决定。
官方 Github:TensorRT Open Source Software
0x15 - 人生没有二周目
0x13 - SNPE 的安装和简单使用
SNPE 是什么
Snapdragon Neural Processing Engine (SNPE)
专为高通骁龙系列设计的 DNN 深度学习加速运行库
https://developer.qualcomm.com/sites/default/files/docs/snpe/overview.html
可以理解为一个在骁龙环境下可执行的机器学习后端,类比于 TensoRT 或 ONNX。
本文将简单介绍下 SNPE 的使用
0x12 - 重庆出行安排