AB测试 转化率有效性检验（代码实现）

:::info 主要基于了一个数据集，进行了转化率的有效性检验。

对于理论可解释方面还需要进一步学习。 :::

数据集：
audience_expansion.zip
代码：
AB测试2.ipynb

该数据集：从支付宝中的两个营销活动中收集的真实数据集。
该数据集在支付宝中包含两个商业定向广告系列日志。

数据集包括三张表，但是本文仅用到一张A/B测试数据集 effect_tb.csv，4个字段如下：

• 事件：该次营销进行了两天
• 支付宝用户ID：有部分重复用户
• 用户行为：用户在当天是否产生点击活动（0:未点击，1:点击）
• 营销策略编号：营销策略编号（1:对照组；2:营销策略一；3:营销策略二）

主要用到后3个字段。

1 数据处理

2 数据容量

#以对照组点击率作为基准线
df_effect[df_effect['dmp_id'] == 1]['label'].mean()

0.012551019015964006
如果希望点击率至少翻一倍，即增加1.26%，则需要的样本量为1398

策略一提升0.2个百分点，策略二提升1.3个百分点，只有策略二满足了前面对点击率提升最小值的要求。 需要进行假设检验，看策略二点击率的提升是否显著。
a. 原假设和备择假设
记对照组点击率为p1，策略二点击率为p2，则：
原假设 H0： p1 ≥ p2
备择假设 H1： p1 ＜ p2
b. 分布类型、检验类型和显著性水平
样本服从二点分布，独立双样本，样本大小n＞30，总体均值和标准差未知，所以采用Z检验。显著性水平α取0.05。

3 假设检验

Z检验和T检验的结果显示，策略1和策略2都表现为显著。

参考文章：
链接：https://zhuanlan.zhihu.com/p/166274462
链接： https://zhuanlan.zhihu.com/p/170474460

T检验、F检验、卡方检验详细分析及应用场景总结 - 旧梦的文章 - 知乎 https://zhuanlan.zhihu.com/p/124072225
A/B测试详细分析及应用场景总结 - 旧梦的文章 - 知乎 https://zhuanlan.zhihu.com/p/124857702
卡方：https://zhuanlan.zhihu.com/p/128905132