思维导图

摘抄

「实验是最有效的证明因果关系而非相关性的工具。」

「通常来说，选定一个或几个指标(metrics)来分析实验结果，以免主观挑选实验结果(cherry picking)。但是仅仅看一个指标也是不行的，很容易就错过全局，一叶瞕目。」

「很多时候看到中性的实验效果，不妨根据不同的维度进行细分，比如浏览器、同家、用户类型等等。」

扩展

什么是 A / B 测试？

维基百科定义：A/B testing - Wikipedia)

沈国阳：「在互联网研发实践中的 A/B 测试是指：为了验证一个新的产品交互设计、产品功能或者策略、算法的效果，在同一时间段，给多组用户（一般叫做对照组和实验组，用户分组方法统计上随机，使这多组用户从统计角度是无差别的）分别展示优化前（对照组）/ 优化后（实验组，可以有多组）的产品交互设计、产品功能或者策略、算法，并通过数据分析，判断优化前后的产品交互设计、产品功能或者策略、算法在一个或者多个评估指标上是否符合预期的一种实验方法。」

特点

  • 可重复性
  • 持续迭代
  • 确定的目标
  • 大量的实验
  • 变量可能无法反映造成问题的真正原因 → 如何选择变量才能保证变量有用？
  • 测试结果只能说明哪种方案好，而不能说明某方案为什么好
  • A/B 测试不是万能，应该看看其他测试方法

实施步骤

  • 确定测试目的：测试某个功能、交互设计或策略等目的的效果
  • 创建实验条件：比如说 Google Maps 是否显示附近停车场功能，一个版本提供，一个版本不提供（内测）
  • 选择用户样本，即选择实验组和对照组
  • 进行测试、收集数据
  • 对收集到的数据进行分析，分析现象背后的原因
  • 将表现结果较好的结果的版本上行，并继续进行迭代测试

具体案例

总结

其他

原文链接：https://mp.weixin.qq.com/s?__biz=MzI5MzMzNTUyNA==&mid=2247483725&idx=1&sn=e1d9b43547a2bd0c4640c41dfde0c92b&chksm=ec72f9c6db0570d0aacc24d59e88b1a40f076e50ff0045e036a68785968b7e97dff6704168e5&scene=27#wechat_redirect&cpage=6

补充阅读：

余晟 - A/B Test给我的哲学启发

邹昕 - A/B Test 与心灵鸡汤

邹昕 - 互联网行业如何通过数据分析驱动用户增长

A/B Testing

沈国阳 - 如何避免 A/B 测试那些坑