看了这篇文章：https://zhuanlan.zhihu.com/p/38471891

问题

Facebook 想测试一个新的产品功能。如何判断这个新功能是否能提升用户活跃？

image.png

区别是：
旧版本中，某一个 post 下面的所有 comment 都是靠左对齐；
新版本中，对同一个 comment 的所有回复会向右缩进。

从产品的角度，我们容易做出如下假设：新版本中 “对话” 的结构更加清晰，提升了用户体验。用户体验的提升，意味着用户活跃度上升。所以，我们如何设计一个 A/B 测试，去验证我们的假设是否成立？

**首先，我们来回顾一下 A/B 测试设计的四步框架：

一、确定实验的样本单位（unit of diversion）
二、选定实验观测指标（metric of measurement）
三、确定实验运行周期（duration）
四、确定实验所需样本数量（sample size）

今天只讲一个最重要的：选择样本单位（unit of diversion）

网络效应

样本相互独立：如果两个用户之间有联系，A 的活跃可能会带动 B 的活跃，导致实验结果不准确。我们把这种产品属性叫做网络效应（network effect），简单理解，就是整个用户群体的行为在局部范围内互相影响。社交类产品比如 Facebook，平台类产品比如 Uber 都有网络效应。

不同的产品，也会有不同的网络效应：
Facebook：用户和用户之间正向影响（A 变大了，B 也变大），实验组和对照组的对比结果会比真实的差别要小（under estimate)。
Uber：用户和用户之间是逆向影响（乘客 A 搭的车多了，乘客 B 搭的车会表少，假设司机数量一定）。这就导致了，实验组和对照组的对比结果会比真实存在的影响要大（over estimate)。


如何在有网络效应（network effect）的情况下选取实验样本？

第一步：选择地理距离较远的用户

写不下去了，先看这个：https://zhuanlan.zhihu.com/p/38717093