工程优化o2/kr2+其他相关o
2021-09-06 10:44:06 0 举报AI智能生成
基本确定项目二需求
作者其他创作
大纲/内容
推理环境
推理镜像标准化
所有镜像做成Dockrfile
推理加速工具标准化
做成镜像
推进
预研
开发通用算法工具
项目四
项目二：需求
推理环境规范化
制作通用、规范的基础推理镜像
☑️ 所有镜像Dockerfile化（包括现有在使用的镜像）
☑️ 制作镜像：推理框架
Tensorflow
Pytorch
ONNX
CPU基础镜像
☑️ 编写测试代码
目标
抽象、统一、沉淀算法推理公共工具，建立规范
时间
12人天
里程碑
推理加速
☑️ 通用TensorRT加速方案
☑️ 封装TensorRT调用接口、环境
☑️ 使用不同框架时的性能最优推理方案
TF session.run？
Keras.fit?
ONNX
☑️ 制作镜像
☑️ 针对性能测试编写benchmark代码
目标
抽象、统一、沉淀算法推理加速环境、工具、方案
时间
20人天
算法封装标准
☑️ 算法封装针对不同硬件的兼容性适配方案
目标
使算法兼容具体的硬件环境，提升算法稳健性
时间
☑️ 算法服务化的标准封装框架
目标
抽象算法封装共性，统一服务规范，沉淀成工具
时间
算法封装标准
服务化封装框架
针对不同硬件的兼容性适配方案
0 条评论
下一页
