算法云测平台架构

GPU

需求描述：1、针对一个算法引擎，可以根据输入进行计算，然后输出结果，在输出结果后，会对输出结果进行分析，最终给出测试报告。2、输入是多个文件和一些参数，输入的数据量也相对比较大。计算引擎根据输入不同，计算时长也不一样，最终输出结果。3、测试平台可以支持多种不同输入集的输入，支持并发计算，需要监控输入、计算、输出结果、输出结果分析 完整流程的管理，以及异常等多种情况。需求解析：1、测试平台支持多种算法的多种测试方案；2、算法数据侧的输入和输出可以进行配置，不同的数据量和数据场景选择不同的数据方案；3、测试任务本身可以支持并发计算、一键部署、一键发布、弹性扩容；4、针对测试过程需要全程监控记录，包括输入侧、计算侧、输出侧、结果分析等；5、针对异常的测试任务可以进行记录管理、调整重启。

模型上架(拓展)

DevOps（CI/CD、弹性伸缩、配置中心）

总体流程图：

Jenkins、

CPU

任务分布式执行

创建算法测试任务

技术选型：

SpringBoot、RabbitMQ、Kafka、MySQL、ElasticJOB、ElasticSearch、Redis、Python、Gateway

IaaS层

重启算法测试

应用层

模型市场(拓展)(模型订阅、付费)

内存

算法测试执行

算法测试编排

模型评价

任务分片配置

Prometheus、Grafana、

算法模型上架

网络

数据服务(数据输入、数据输出)

创建算法测试

模型发布(拓展)

选择算法服务

创建任务完成

控制台(资源总览、任务总览、模型总览)

配置数据服务1、数据输入2、数据输出

Docker、Habor、K8s、Rancher

存储

算法服务(算法管理、算法配置)

监控预警(资源监控、任务监控、日志查看、预警管理)

需求描述：

用户端

容器云(资源隔离、资源调度...)

模型服务(模型管理、模型配置)

......

中台层

测试任务报告

调整算法测试

选择模型服务

任务资源配置

测试服务(测试管理、测试配置、测试分片)

平台层

总体架构图：

任务监控配置

任务监控

运营服务(拓展)(模型管理、模型上下架、计量计费)

算法测试(算法测试任务编排及测试任务报告)

SpringBoot、Vue/React、统一入口