AI
推荐
模板社区
专题
登录
免费注册
首页
流程图
详情
硬件加速 TensorRT
2022-03-11 17:41:29
0
举报
分享方式
使用 (￥3)
模型加速tensorRT的思路
硬件加速
tensorrt
模版推荐
作者其他创作
大纲/内容
编译engine
TensorRT整个过程可以分三个步骤，即模型的解析（Parser），Engine优化和执行（Execution）。首先输入是一个预先训练好的FP32的模型和网络，将模型通过parser等方式输入到TensorRT中，TensorRT可以生成一个Serialization，也就是说将输入串流到内存或文件中，形成一个优化好的engine，得到优化好的engine可以序列化到内存（buffer）或文件（file），读的时候需要反序列化，将其变成engine以供使用。然后在执行的时候创建context，主要是分配预先的资源，engine加context就可以做推断（Inference）。整体流程：使用pytorch训练模型，生成.pth文件将.pth文件转化成onnx模型在tensorRT中加载onnx模型，并转化成trt的object在trt中使用object进行推理
创建network，并inplace的填充
创建Builder
创建config，并inplace的按需配置
推理inference
开始
创建context
收藏
立即使用
DeepSeek-R1训练流程整理
收藏
立即使用
AI算力中台
收藏
立即使用
02 传统RAG存在的隐患
收藏
立即使用
00 大模型LLM+RAG
健壮的海豹
职业：本科
去主页
Collect
Get Started
系统硬件架构框图
Collect
Get Started
软硬件故障处理流程
Collect
Get Started
android view绘制流程(硬件加速)
Collect
Get Started
硬件实验1.1
评论
0
条评论
下一页
Document
