框架&架构

验证小组人员

方案设计

算法结论

存在问题：参考文献时间与项目开发时间不一致

● 算法验证方案及报告1、验证方案设计逻辑问题2、金标准标注规范3、验证过程设计可操作性差、使用隐藏功能（需求、规范中无法对应）4、验证数据集与验证结果中数据不一致，定量与定性分析的数据不一致5、结论：应该结合临床实际应用场景对验证结果进行分析6、引用的参考文献时间应与项目开发时间一致● 算法研究报告算法需求规范、算法质控要求、算法可追溯性分析应与对应的文档对齐。● 涉及的工具验证第三方软件开源框架开源软件库

存在的问题:验证数据的数据与验证结果的数据不一致（数据量和数据）同一验证报告中，定性分析数据量与定量分析数据量不一致。

算法风险管理

存在的问题：评价标准除引用参考文献的，还有一部分标准缺少依据

绿清单需要坚持的鼓励的

需求

算法可追溯性分析

设计工具缺少验证：第三方工具：如标注工具，开源框架：如 scikit-Learn，开源库：如 Opencv 等

......

数据采集标准及操作规范数据量数据

风险管理报告

算法验证方案及报告、算法研究报告框架完善。

验证结果

存在的问题：只根据试验结果得出结论，并未从临床的实际应用场景进行相应的总结

算法验证报告

验证目的

金标准

算法验证方案及报告

评价方法及评价依据

黄清单尽可能从项目中消除的——暂时难以做到

算法输入输出

《软件需求规格说明》：用户需求编号、分类、系统需求编号《产品规范》：设计规范ID、设计规范说明《系统&集成测试用例》：用例编号《风险管理报告》：风险管理ID《软件可追溯性报告》

软件需求规格说明

存在问题缺失

红清单尽可能从项目中消除的

算法质控要求

算法需求规范

存在的问题：参考文献的时间与项目开发时间不一致

存在问题：（找不到来源）系统需求编号分类需求描述需求规格合格性方法

金标准标注规范标注任务：图像标注、数据模态、执行主体、结构化标注、存储格式、标注结果标注规则：标注接受标准标注流程：标注、审核人员要求：标注人员、审核人员标注工具：使用版本与项目开发时间一致，工具验证标注环境

参考文献

数据量数据分布评价标准中涉及的临界值的选用依据

算法设计

结果分析

设计工具缺少验证：开源框架：如 OpenFOAM 等

基本信息

《数据采集标准操作规范》《数据采集协议》《数据来源合规性声明》

存在问题：（相关ID找不到来源）系统需求ID设计规范ID测试用例ID风险管理ID

算法研究报告

验证数据集

存在的问题：验证过程中，软件操作步骤不完整，可操作性差；同时，验证过程中使用了软件的隐藏功能，软件需求中未提及。需要保存的验证结果存储地址未说明。

结论

存在的问题：数据分析不合理

验证过程

验证报告和记录存在逻辑问题

数据采集标准存在的问题：数据分布未说明（产品实际应用场景）数据量：验证数据集的数据量

存在问题：（找不到来源）数据来源：数据来源机构所在地域数据收集量科研合作协议编号数据来源合规性声明数据采集要求

数据采集标准操作规范、数据采集协议、数据来源合规性声明、数据整理标准操作规范、数据标注操作规范、标注数据库分析报告、数据集分析评价报告

产品规范

参考文件

范围

用户需求说明