a/b测试平台搭建


算法号命名规范:八位日期+两位序号,例如:2018031901

1确定抽样数,服务器每天随机抽取一定量的用户按测试算法下发数据
2分算法号统计页面的平均转化下载次数,平均访问时长,访问次数等指标
3对上述指标进行假设检验(均值检验,u1-u2>=0,置信度分别为0.05,0.01,0.005,时间范围为第一天到当前日期)
4前端展示假设检验结果

假设检验过程:
设对照组数据为ai,测试组数据为bi(i=1,2…,n),分别服从正态分布,假设ai-bi服从正态分布N(µ,σ)
提出原假设H0:µ>=0,H1:µ<0,置信水平为α,xi=ai-bi
计算 avg(X)*sqrt(n)/s,若该值小于t(α,n-1),则拒绝原假设,说明新的方案比原方案好。其中
t(α,n-1)为T(n-1)分布的下侧α分位数,可通过查表得到,一般α可取值0.05,0.005
s为样本方差
a_b测试平台搭建 - 图1