触发方式
特征触发:依据事前制定的属性规则触发用户,比如地域,活跃度<br>
行为触发:用户需要触发某个动作,或者到达某一页面,改动曝光给用户<br>
扩大触发:特点:实验组的策略在线上已有,是限定了范围人群。实验的目的就是扩大这个范围。比如免运费策略之前是100元起,现在扩大到50元起。
更改范围触发:特点:实验策略线上已有,限定了范围人群。实验的目的是更改部分的范围人群,比如免运费策略之前是100元起,但现在改为50元且需要7天内无退货(对100元以上也是如此)。这导致原100元免运费群体出现不免费情况。
虚拟事实触发:比如对线上用户聚类模型迭代。实验要分析的人群应该是新模型与旧模型分类有差异的用户。为了知道某个用户在新旧模型中属于哪个用户分类,需要对照组同步运用新模型,实验组同步运行旧模型,用于记录用户在两个模型的分类结果。
触发实验的分析
注意事项
一旦用户进入实验组,该用户后续的数据也要放到实验组。比如特征触发下:实验针对一线用户,当用户触发后又移动到二线城市,其后续行为也需要统计。在行为触发场景下:比如实验针对最近30天不活跃用户召回短信,用户点击短信活跃后,其后续行为需要统计到实验组。<br>
因为指标统计是整个实验期间,但用户触发可能发生在中段,其前面的行为未在实验组中,如何处理?一般是忽略这个差异,直接统计全量<br>
实验效果指标
染色指标:全局的指标分流可以称为染色日志。所有大盘用户都参与指标计算,计算出的指标称为染色指标,代表的是大盘的影响和变化,优点是可以反映大盘的变化,缺点是不容易检出实验效果。<br>
触发指标:真实参与实验用户被称为实验参与用户,也就是也就是触发用户、命中用户。计算出的指标称为参与指标、触发指标,优点是容易检验出效果,缺点是可能无法直接反映对大盘的整体效果<br>
计算
触发的是大盘用户(行为触发):不需要稀释百分比
触发的是特征用户(特征触发):比如实验仅对高活用户,需要考虑触发率
如何验证触发实验提升了灵敏性(系统)
空转实验(AA实验),计算第一类错误的发生率,降低了发生率即提升了灵敏性
固定收益实验:即在AB实验的基础上假定一个指标的提升量,统计实际AB结果显著性与假定提升量的一致性,并将一致的占比记为召回率。看召回率的提升情况。<br>