以下内容源自我在Scott Klemmer UC SanDiego的课程学习笔记

网络视频可以登陆coursera进行报名学习 课件来源于Scott Klemmer教授

HCI-10-2-RunningWebExperiments.pdf

把当前版本当作A版本，需要测试的版本当作B版本。
收集两个版本在转化率、点击数或你能衡量的指标，以判断哪个更有效。

A B C
流量占比 34% 33% 33%
新增销售 244 282 11
改善 N/A 15.57% -53.28%

设计方法不同，效果也不同

  • 主要的行为召唤按钮的位置和颜色
  • 评价信息在哪里（如果有用户评价）
  • 文本还是图像链接
  • 留白带来呼吸感
  • 主标题位置与凸显
  • 页面的列数
  • 视觉元素数量
  • 照片上人或物的属性

大规模设计变更

做小但有意义的变动（刻意的为了解决某些问题的变动）度量其效果
微小的差异会不断积累，变成大的
警惕异常：进一步调查

小的差异，比如额外的字段，都会让点击产生巨大的变化。

原则

在两个版本上均分访问人数——“你的设计改动是否能导致可观测的影响”的最快方法。

  • 慢慢来，不要一开始将软件暴漏在大规模用户前，尤其是万一你的设计是灾难性的
  • 应逐步扩大/增加人数，发现严重问题，立马停止实验，重新设计，排查

随机分配原则

  • 一致的
  • 可持续的
  • 独立的