《B端产品从工具向服务化平台的升级》连载系列终于迎来了终章——理论追溯。前三章主要从“服务蜕变”、“品牌升级”、“结果度量”进行阐述(本文结尾有链接跳转,感兴趣的小伙伴可点击阅读)。本章内容着重介绍“车商通”改版前后对服务设计的评估
用研在8月初便开启了服务于58二手车B端“车商通”改版升级的评估,历时2个月对旧版和新版进行定量调研,即在8月中旬进行了旧版调研,新版上线后9月中旬紧接着实施了后测。以此来对比用户在新旧两版设计的体验差异,并评估项目改版的有效度。
本次定量调研选择了客户净省力度、客户净推荐值和情感体验三类指标对旧版和新版进行评估对比和问题定位。那么为什么选择这三类指标?这些指标又如何测量?最后又如何快速定位问题?就请大家一起和我往下看。
01
指标设计 · 调研背景
为了实现车商通产品从推广车源服务到汽车交易平台升级的业务目标,设计师从数据服务、功能服务、内容服务、营销服务、链接服务等方面全方位切入,兼顾多样性用户特征及产品核心场景诉求,从工具化向服务平台升级。并围绕B端车商进行了服务整合。因此,需对服务升级和服务整合的举措进行评估,来看用户在改版前和改版后的体验差异。在这样的一个调研背景下,一是需要了解服务是什么;二是根据服务的定义,从用户角度出发应选择哪些恰当的指标进行评估。
· 指标选取依据
首先,服务是什么?Regan提出服务是能够直接或与其他有形产品一同为顾客带来满意的活动,即服务需要与顾客进行互动,并且最终带来满意的互动结果;同时也有学者提出服务是发生于顾客和服务者、有形产品或服务系统间的能够解决顾客需求的一个或者系列的行为(Gronroos),他认为服务是能够解决顾客的需求;ISO定义服务是供方为了满足顾客需求,与顾客接触过程中的活动及其内部系列活动的结果,可见他强调顾客互动的过程和结果。综上所述,想要对服务进行评估,一方面是评估服务过程,即强调客户所经历的;另一方面是评估服务结果,即强调客户所得到的。最终再结合情感体验的指标去反应客户情感层面对服务的认可程度。
因此,针对服务过程、服务结果和情感体验分别选择了相对应的指标进行评估。服务过程选择了净省力度(Customer Effort Score;CES)来测量,以此反馈客户在享受服务过程中达成某一结果的困难程度。服务结果选择了净推荐值(Net Promoter Score;NPS)来测量,反映了客户对自己所得服务结果的价值做出的判断。最后,情感体验分别选择了依赖性、愉悦性和信任性三个维度进行测量,也就是测量客户对APP的使用依赖程度、使用愉悦程度、内容信任程度,以此来反应客户与APP的情感链接。
02
问卷设计 · 问卷结构
本次调研问卷分为五个部分:1.甄别问题,筛选出可进行评价的用户和后续可评价的服务项目;2.净省力度调研,用户对整体净省力度和各子服务净省力度进行评估;3.净推荐值调研,即把APP推荐给其他人的可能性进行评估;4.情感体验调研,用户对APP的依赖程度、愉悦程度和信任程度进行评估;5.个人信息,收集用户的工作职责、性别、年龄、学历等个人信息。
· 净省力度调研
通常CES的测量问题是:您使用某产品/某服务的困难/容易程度?从非常困难到非常容易进行评分。测量题干中的“容易/困难”会对用户评价进行引导。因此选择了中立的问法:在“车商通APP”上使用您想要的服务,感觉如何?从非常费劲0分到非常容易10分进行评价。净省力度=(9-10)%-(0-6)%,即9到10分的人数占比减去0到6分的人数占比。
客户对净省力度评分后,会紧跟一道多选题。根据自己所给的分数跳转,0分到6分的用户会接着选择哪些感觉费劲;7分到8分的用户选择比较关注的是什么;9分到10分的用户选择哪些感觉容易。选择项主要根据三个方面进行提供:一是定性访谈结果;二是体验地图的满意度调研结果;三是新旧版不一致的地方。以此来定位到问题所在,找到三类人群(费力者、中立者、省力者)的聚焦点。
除了整体净省力度的测量之外,针对每一部分APP所能提供的服务也进行了拆解,分别是首页功能、首页数据、首页收车拍卖、首页推荐内容、发布、车源、个人中心、客户沟通。均测量了这些模块的净省力度,调研问题和整体净省力度保持一致。
· 净推荐值调研
对NPS的测量问题为:根据近一个月的感受,您有多大意愿将“车商通APP”推荐给其他人?从不可能0分到极有可能10分进行评价。0分到6分的用户为贬损者,表示对此产品不满意,并且有流失的风险。7分到8分的用户为被动者,表示对此产品谈不上喜欢也谈不上不喜欢。9分到10分的用户为推荐者,表示对此产品很满意,并且也会积极推广给其他人。NPS=(9-10)%-(0-6)%,即9分到10分的占比减去0分到6分的占比。
· 情感体验调研
情感体验的调研采用李克特5级态度量表,即让用户对题干的描述进行强烈反对到强烈同意的评价。比如我比较依赖于使用这个APP工作,对此进行强烈反对1分到强烈同意5分的评价,3道题均为正向描述,分数越高代表用户对APP的依赖性越高、使用愉悦性越高、信任性越高。
· 调研实施
调研前测和后测的问卷题目保持一致,前测样本框为近3个月内使用过APP的全量用户,后测样本框为APP更新后使用过的全量用户,对此进行问卷投放,两次调研有效问卷均大于90%,且用户特征在常用功能、性别、年龄、学历的趋势保持一致。问卷采用图文结合的方式让用户更容易且更真实的进行评价,以下是前测和后测的部分作答题目展示:
03
对比分析
改版后整体净省力度带来了一定百分比的提升。NPS也带来了一定百分比的提升,相较于整体净省力度的提升更多。对CES与NPS交叉分析,发现改版后贬损者和推荐者的整体净省力度均有提升。同时,情感体验的的分数,即APP的依赖性、使用愉悦性、信息信任性分别都带来了一定分值的提升。证明改版后的设计增强了用户与APP的情感链接。
同时,对比分析改版前和改版后各子服务的净省力度差异,以及快速定位到净省力度提升或降低的原因。其中除了首页内容的净省力度有所降低之外,其他的子服务(首页功能、首页数据、首页收车、发布、个人中心、客户沟通)的净省力度都有所提升。
定位提升的原因,比如首页数据净省力度提升主要体现在两方面:一是改版后用户认为数据种类够用(去除了一些用户不关注的无用数据);二是数据详情的查询便利度(点击数据即可进入详细页面)。
定位降低的原因,比如首页内容改版后净省力度降低最主要就体现在内容个性化推荐的精准上,建议后期更多的去关注全部推荐里的内容与车商的个性化匹配。
04
来个小结
本次调研评估度量中指标选择是最为重要的,其中CES度量客户与产品和服务进行互动所作出的努力,主要目的是发现客户在与产品或服务互动时是否难以执行某些操作,并根据数据结果采取必要的措施以简化流程。NPS是一个长期监控的增长指标,可以用来预测客户的流失率,通过迅速采取行动关闭负反馈循环,防止用户的流失。所以,在此次调研评估中结合使用CES和NPS来衡量用户的推荐程度,以及产品/服务对用户的友好程度。后续也会持续去探索更多合适有用的度量指标来评估用户多方位的体验感受。
往期回顾👇👇👇《B端产品从工具向服务化平台的升级·交互篇》《B端产品从工具向服务化平台的升级·视觉篇》《B端产品从工具向服务化平台的升级·结果度量》