流程
分析现状,建立假设:分析业务,确定最高优先级的改进点,作出假设,提出优化建议。
设定指标:设置主要指标来衡量版本的优劣;设置辅助指标来评估其他影响。
设计与开发:设计优化版本的原型并完成开发。
确定测试时长:确定测试进行的时长。
确定分流方案:确定每个测试版本的分流比例及其他分流细节。
采集并分析数据:收集实验数据,进行有效性和效果判断。
给出结论:①确定发布新版本;②调整分流比例继续测试;③优化迭代方案重新开发,回到步骤1。
注意点<br>
测试时长:测试的时长不宜过短,否则参与试验的用户几乎都是产品的高频用户。
分流(或者说抽样):应该保证同时性、同质性、唯一性、均匀性。