image.png
    一、背景——“影响大，选择难”
    • 产品优化依靠经验主义，不能保证新的产品版本一定会有业绩提升
    • 重大产品功能很难决策，不确定哪个方案效果最优
    • “后验”成本高，如果改版失败，业绩损失无法挽回

    二、A/B测试最佳实践
    一个产品运营团队，在实际推进A/B测试的时候，会遇到多方面的挑战。从Testin实际合作的AB测试客户来看，我们发现这些挑战可以总结成三个方面的问题：人、业务和工具。

    • 人：
    任何一个组织，核心要素都是人。在这个要素中，最重要的就是让整个团队的成员统一思想，想明白诸如“什么是A/B测试？”，“是否有必要在我们的产品运营中做A/B测试？”，“怎么做A/B测试？”，“如何衡量A/B测试的价值和效果？”等等相关的问题。
    • 业务：
    在一个具体的业务场景中，我们最关注的问题往往是如何将A/B测试在业务中的价值最大化。这个时候，产品运营比较关心的问题是“在已有的产品迭代流程中，如何低成本高效率地引入A/B测试？”，“如何在有限的资源投入情况下，最大化提高A/B测试的收益？”，“如何推进A/B测试在团队中的应用？”，“A/B测试的最佳实践是什么？”
    • 工具：
    A/B测试的工具有两种选择：自建A/B测试工具，或者与Testin云测这样专业的第三方A/B测试服务提供商合作。自建的A/B测试工具最大的好处是与企业业务关联度高，这种方式比较适合有强大的数据分析技术研发实力的企业。而与Testin
    AB测试这样的专业第三方服务企业合作，最大的好处是能高效率、低成本地开展A/B测试，把精力专注于自己的业务增长上。

    当一个团队具备以上三个要素，开始真正推进A/B测试时，最佳的实践流程是怎么样的呢？如果是初次接触A/B测试的同学，可能会有一个误解：“A/B测试的效果好坏非常依赖灵光一闪的好想法好创意，如果创意好，A/B测试的效果就好，如果创意不行，那么A/B测试的效果就不行”。这种理解最大的问题就在于，忽略了A/B测试其实是有一套完整的方法论和实践流程的。在这套理论体系下，我们是可以稳定地通过A/B测试实现产品增长的。

    1. 确立优化目标。在图5的A/B测试流程体系中，首先要做的，就是确立想要优化的“目标”。在这个过程中，我们建议大家一定要设立“可量化的、可以落实到某一个具体功能点的、可实施的小目标”。举例来说，如果一个目标不好直接量化，例如“将用户满意度提升15%”，那么就不好形成一个具体的A/B测试方案。同理，如果这个目标太大太宽泛，也不好落地。一个可行的目标可以是“通过优化注册流程，将注册转化率提升20%”，这个目标可以量化，而且足够具体，可以在后续流程中形成一系列相关的A/B测试实验方案。
    2. 分析数据。通过数据分析，我们可以找到现有产品中可能存在的问题，只有先发现了某一个产品环节可能存在的问题，才好在后续流程中提出相应的优化方案，以优化这个环节的转化率。
    3. 提出想法。在这一步，我们可以针对数据分析发现的问题，针对性的提出产品优化的方案，例如优化流程以提高转化率，优化设计和文案等等。一般来说，A/B测试的想法会以“假设”的方式提出。例如，“假设把注册流程中的图片校验码方式，改成短信校验码的方式，我们的注册转化率可能提升10%”。基于这个假设，我们会设计对应的A/B测试，并通过实验的数据验证这个假设是否成立。在后面的章节我们也会通过更多实际的A/B测试案例来跟大家分享一些相关经验。
    4. 重要性排序。在开发资源、版本排期、优先级等因素的制约下，我们很可能不能对所有的想法进行实验。在这一步，最重要的目的就是根据重要性、潜在收益、开发成本等因素对所有想法进行优先级的排序，并选择最重要的几个想法进行A/B测试。
    5. 实施A/B测试并分析实验结果。对于一个A/B测试来说，结果主要分成两种：有效和无效。无效的A/B测试实验对于团队来说，其实是非常宝贵的经验，这个时候我们可以把这些无效的实验转化成团队的经验，避免以后再犯同样的错误。而对于有效的A/B测试来说，我们成功通过实验提升了产品的转化率，这时我们可以把优胜的版本正式推送给全部用户，以实现产品用户的有效增长。
    6. 迭代整个流程，进行下一轮A/B测试。

    在这个流程中，最重要的就是迭代、迭代再迭代。尤其是在刚开始推行A/B测试的时候，很容易遇到“团队成员经验尚浅，不确定哪些产品功能点做A/B测试效果会比较明显”的问题，往往需要一些quick wins去建立团队对A/B测试的信心。这个时候，比较有效果的办法有两种：一种是针对一些转化率相对较低、很有可能通过改版获得提升的产品功能点，精心设计A/B测试实验，一般都会有比较明显的效果；另一种是快速地做一批简单的A/B测试实验（例如修改关键按钮的文案，颜色，图标等），只要其中有一部分实验取得了成功，就能很好的在团队内部推进A/B测试的实施。像Testin AB测试产品提供了业界首家针对App/H5的可视化编辑功能，可以对按钮、图标等控件进行“所见即所得”的可视化编辑，实现文案、图标的实时修改，而且无需应用市场审核，可以即时更新，非常适合快速地进行简单的A/B测试实验。

    三、A/B测试案例剖析
    我们通过一些真实的案例，来分析下A/B测试的实际应用。

    案例1：注册流程改版
    让我们先来看一个注册流程的A/B测试。这个产品原始版本的注册流程使用了图片校验码的方式，但是注册转化率偏低。于是产品经理提出一个设想：如果把图片校验码方式改成短信校验码的方式，有可能因为降低了用户输入的难度导致注册转化率的提升。

    带着这样的假设，他们设计了如下图所示两个版本的注册流程。通过使用TestinA/B测试产品，分别为两个版本分配了20%的用户流量，通过一周左右的实验观察，数据显示新版本（短信校验码）的注册转化率提升了接近10%，并且95%置信区间是[8%,12%]，说明这个实验版本推广到全量用户之后，95%的概率下至少会有8%到12%的提升。基于这个实验结果，产品经理选择将新版本注册流程推送给全部用户，显著提升了注册转化率。

    案例2：App首页大改版

    首页大改版对于一个产品来说，无疑满足“影响大，选择难”两个必要条件。在下面这个App首页改版的例子中，新版本的首页布局发生了多处改动：例如改动了4个子栏目、新增了一个banner，更改了类目展示方式。对于一个App来说，首页的改版属于非常重大的产品变动，稍有不慎就可能对现有用户体验造成很大的影响，如果改版失败，会直接导致成交额、用户点击转化率、留存率的下降。正因为影响重大，同时又不确定新版本是否能提升业绩，所以A/B测试在这种场景下是非常必要的。

    产品经理进行这样的大改版，核心目的主要是为了提升首页向二级页面的点击转化率，并最终促成更高的成交转化。在这个实验中，因为有多个首页模块发生了变动，我们需要为不同的首页模块分别设置对应的指标，以对比两个版本首页向二级页面的转化率优劣。通过A/B测试平台将两个版本用户流量分别设置为10%，并运行2周实验之后，实验数据显示新版本首页向二级页面的整体点击量提升了12%以上。通过A/B测试，产品经理成功验证了新版本首页达到了预期的优化目标，之后就可以将新版本发布给全部用户了。

    案例3：美图的A/B测试实验
    美图正在用TestinData.AI对潮自拍APP的首页设计进行A/B测试优化实验，以提高社区化转型过程中用户对拍摄功能的使用率。

    美图正在用TestinData.AI对潮自拍APP的首页设计进行A/B测试优化实验，以提高社区化转型过程中用户对拍摄功能的使用率

    四、未来 - 智能优化&A/B测试
    TestinData.AI A/B测试，已经为很多顶尖的产品经理、运营推广团队提供了从优秀到卓越的必杀密器，为产品、运营和经营管理人员，有效掌握、提升了以下这些经营核心指标：
    • 点击通过率 Click-through Rate (CTR)
    • 转化率 Conversion Rate (CR)
    • 更新率 Renewal Rate
    • 跳出率 Bounce Rate
    • 平均保留率 Average Retention
    • 平均使用量（应用，手机网站、网页，App屏幕或游戏场景上的时间），Mean Usage (Time on app, mobile web, mobile webpage, an app screen or game scene)
    • 平均每用户事务数Average Transactions Per User
    • 净推动者指数 Net Promoter Score (NPS)
    • 客户满意率 Customer Satisfaction Rate
    • 平均每用户收入 Average Revenue Per User (ARPU)
    • 平均订单大小 Average Order Size
    在跟美图、宜人贷、自如、51信用卡、相机360等众多合作伙伴做A/B测试的过程中，我们发现，未来的A/B测试引擎一定是越来越智能，越来越自动化：智能优化引擎应该能实时持续动态对不同产品版本进行数据分析，并进行智能流量调节，无需人工干预，自动提升转化率，降低产品试错风险。
    于是，我们在18年推出了业界首家基于强化学习的智能优化引擎，可以724小时系统自动进行版本选优和比例调整，无人工干预，保持运营水准持续提升。感兴趣的同学可以访问: http://ab.testin.cn/?ch=zh2了解更多详情。
    智能优化引擎，7    24小时智能、自动、持续提升转化率，省时省力。
    受限于篇幅，本文未深入讨论A/B测试的一些相关知识，例如分流算法、统计算法、95%置信区间、统计显著性等等。