案例背景

某网站首页双12 活动 banner主色调选择（现提供两个版本的banner)，banner 为网站PC端或App 的顶部或底部横向贯穿整个界面的广告条。。现需要数据分析师通过ABTest实现对A、B两个不同色调的banner进行择优选择。

1.检验指标的确定

一类指标：人均停留时长
二类指标：广告点击率=点击用户数/广告总曝光用户数

用户的停留时长和点击率反映了用户对此广告banner的感兴趣程度。

2.确定检验指标

一类指标：人均停留时长极差即μA-μB
二类指标：广告点击率的极差即PA-PB

3.埋点数据收集

image.png

4.确定H0、H1

A组为实验组treatment，B组为对照组control

一类指标：实验组人均停留时长不显著小于对照组

H0：control_time-treatment_time>=2Std(control_time) H1：control_time-treatment_time<2Std(control_time)

image.png
二类指标：实验组广告点击率不显著大于对照组

πa-πb>α1

H0：treatment_p-control_p<=0 H1：treatment_p-control_p>0

5.确定显著性水平

一类错误：𝛼=0.05
二类错误：𝛽=0.05

6.计算样本量

二类指标的H0和H1可以得知：应选择估计比例之差时的单侧样本量
image.png