选择偏差

实验组和对照组差异过大：性别、地域、年龄层、消费偏好、消费水平等

两组用户的特征一致
两组用户不会出现交叉

AA Test

一个比较常用的方法是在AB Test之前先做一段时间的AA Test。大体思路是采用和AB Test一样的分组，然后对两组人投放同样的用户体验（所以叫AA Test）。这时如果两组人表现有统计显著性的不一致，则说明两组样本本身属性有差异。此时需要从新分组，在工程实现上通用办法是再随机设定一个hash seed。然后重复上述 AA Test，直到两组样本表现一致。

聚类分层，然后随机抽样

抽样是指按照随机原则，以一定概率从总体中抽取一定容量的单位作为样本进行调查，根据样本统计量对总体参数作出具有一定可靠程度的估计与推断。
抽样最重要的问题是抽取的样本是否能够代表总体。如果样本没有代表性，那么以样本的统计量数据来对总体参数进行估计就没有逻辑基础。
方法：根据用户特征对用户进行聚类，把用户分为具有相同代表性的多个小组，然后通过随机抽样的方式得到测试版本的用户群（样本），保证了样本的代表性。