abtext流程图
2022-04-19 15:43:55 9 举报
啊啊啊
作者其他创作
大纲/内容
全标完的增益条数gain=(ra正确个数+ar正确个数)-(ra错误个数+ar错误个数)
算法/测试同学导入abtext数据(带有老模型分数或标签)
若增益条数大于一定阈值,则代表新模型相对老模型有增益,可以上线
测试同学介入预发环境跑批得到新模型的分数或标签
未全标完根据已经标注的数据计算ra、ar准确率,根据公式1计算增益条数gain
ABText需求流程图
测试同学获取测试报告(1.数据总量。2.ar、ra、rr三部分的数量和准确率。3.增益gain条数)
备注:1.标签0为通过,1为拦截(根据算法同学确定的阈值判断)2.ra代表老模型拦截的,新模型通过的文本ar代表老模型通过,新模型拦截的文本rr代表新老模型都拦截的文本3.公式1 gain=[ar_acc*ar_num+ra_acc*ra_num]-[(1-ar_acc)*ar_num+(1-ra_acc)*ra_num]ar_acc、ra_acc代表ar、ra部分准确率|ar_num、ra_num代表ar、ra部分的数量
将ra、ar两部分数据合起交到标注同学处打标,测试同学决定标注进度
对比新老模型的分数或标签,一键筛选出ra、ar、rr三部分数据并统计其数量
0 条评论
回复 删除
下一页