21.01.13 神策-A/B 测试功能全新发布

A/B 测试作为支持精细化运营的技术手段，能够帮助企业有效提升用户转化，降低因改版失败带来的用户流失、业绩下滑风险。
当下，流量红利逐渐衰退，越来越多的企业选择 A/B 测试进行产品改版升级，目的在于优化用户体验，帮助企业提高用户及收益的增长。
随着神策数据整个产品理念的全新升级，在神策分析云中，迭代优化后的 A/B 测试功能全新发布。此版功能提供完整的试验创建和试验分流能力，可满足流量分层、试验互斥等高级测试需求，为产品迭代、运营策略的优化提供决策依据，真正地用数据说话，驱动决策。（文末可体验 A/B 测试哦~）

为什么要做 A/B 测试？

在服务客户的过程中，我们经常会听到客户在产品正式发版之前的焦虑： “相比较方案一，方案二只是在布局上做了变动，怎么能确保带来更多转化？” “如果改版失败，造成的损失将无法挽回。” “看了十几家同类型企业的产品，大家都是这样做的，那新版本意义何在？” ……
新版本的上线只会带来两种结果：第一种，改版成功，用户和转化实现明显增长；第二种，改版无效或改版失败，对企业增长无影响或产生负作用。

因此，如何用结果证明假设的可行性，如何从多个设计方案中选出最优方案进行全量上线至关重要，这就需要通过 A/B 测试消除发版过程中多方分歧，达成共识，降低新方案带来的不确定影响，助力产品体验优化，进行科学决策。

哪些工作需要 A/B 测试？

A/B 测试的应用通常在产品正式迭代发版阶段，将 Web 或 App 界面/流程以同一个目的制定两个或多个方案，在同一时间维度，将用户流量对应分成若干组，在保证每组用户特征相同或相似的前提下，展示给用户不同的设计方案，收集各组用户的体验数据和业务数据，最后分析评估出最优版本，驱动决策落地。
举个例子，某企业希望通过对 App 首页改版提升用户点击和转化。为了实现这一目标，该企业对页面布局、文案、可视化图像等进行 A/B 测试。通过试验，可以明显观察到哪个变量会对用户行为产生影响，根据结论选择能够提升用户点击和转化的版本。
除此之外，A/B 测试也可用于UI/文案、信息架构、流程交互、功能范畴等的改版。变量越少，越能清晰观察各个变量对结果的影响程度。接下来通过以下场景进一步了解：
· UI、文案层的 A/B 测试：在产品首页、详情页、落地页对文案内容、按钮大小、UI 颜色等进行 A/B 测试，观察 CTR 和用户点击次数分布规律，调整用户注意力及原有页面的点击分布，实现用户点击和转化的增长。

· 信息架构的 A/B 测试：企业通过在产品首页、发现栏、详情页、介绍页等复杂页面对入口、信息内容的位置及优先级进行 A/B 测试，根据 CTR、人均点击次数、页面转化率优化用户注意力及内容理解深度。

· 流程交互的 A/B 测试：常见于注册流程、申请流程、购物流程等产品转化的长流程中，通过调整流程步骤、顺序、交互方式，基于流程转化率、转化时长、操作费力度来优化流程转化及用户体验。

· 功能范畴的 A/B 测试：也叫灰度测试，针对会员体系、新付费点、交易功能等对业务流程本身有改造作用或新增的产品功能，通过分析功能使用率、转化率、用户留存率、LTV 等，优化产品的核心功能，提升关键业务指标。

神策数据 A/B 测试五大亮点

1.高可用的流量分发

A/B 测试需要将多个版本展现给不同用户，即对用户进行“分流”。 神策数据 A/B 测试支持服务端分流，采用多节点分布式部署，使用分布式存储技术对分流结果进行多副本冗余存储，保证在极端情况下的数据可用性；同时，分流服务采用多级缓存技术，支持横向动态扩容，支持流量熔断和服务降级，保证在突发流量情况下的系统稳定性和接口的高性能响应。

2.支持流量正交，实现流量复用

A/B 测试需要基于一定样本量才能有效体现结果，但对于业务流量较小的企业来说，很难确定多个试验的效果是否会相互影响，因此无法同时上线多个试验。 针对此，神策数据的 A/B 测试功能采用正交分流，实现同一试验层内的流量互斥，不同试验层内的流量正交，达到流量复用的目的。如下图：

采用哈希值取模代替原始 req_id 取模，并且哈希时传入层 ID，这样层与层之间的哈希值不同，从而实现试验层 n 的流量均匀分布给下一个试验层，消除因流量不足导致的多个试验结果互相影响。

3.实时生成试验数据报告，快速决策、快速上线

企业与用户关注数据的实时性，因此他们希望每一个试验结果都能在报告中实时查看，但常规 A/B 测试的试验报告只能在 T+1 或 T+n 天查看，虽然目前市面上已实现小时级查看报告的方案，但远不能满足企业决策、运营的需求。 神策数据的 A/B 测试功能可实时生成试验报告，产品、运营、业务等人员可在第一时间查看试验结果，让企业能够及时了解多种方案带来的不同影响，择优上线以规避不确定风险。这背后源于神策多数据源的整合能力、完备且强大的计算能力、异构数据源间的混合计算能力等。

神策数据 A/B 测试分析报告面板，数据为模拟

4.操作简便，轻松创建 A/B 试验

神策数据的 A/B 测试功能中创建试验只需四步。 设置试验基本信息；通过分群或规则选取受众用户，并设置进组比例及试验层；配置关注指标，其中必须包含一个核心指标，常规指标支持人均次数、人均值、均值；设置多个试验分组并根据规则分配流量，通过调试确保试验符合预期，即可实现 A/B 测试的正式上线。

神策数据 A/B 测试面板

5.打通更多分析模型，多维度分析试验结果

经常会有这种情况：企业在对 A/B 测试的试验结果进行分析时发现，所使用的第三方平台和内部的运营后台无法实现良好的数据打通，造成分析困难、协同困难等问题。神策数据 A/B 测试功能支持试验数据与分析模型打通，已接入神策分析云的企业可直接通过神策分析模型对 A/B 测试的结果进行深度分析，根据实际业务需求，以低成本、高效率、高质量获取数据分析结果及决策依据。 目前，神策的数据分析模型已围绕数据分析法则的科学性、数据分析维度的多面性、可视化、操作便捷性等全面提升，数据分析路径被大大缩短，数据可读性显著增强，分析效率亦有飞跃式提升。