分析评估｜用户满意度模型

前言

如何科学有效的度量用户体验是企业和用户体验从业者一直在思考和研究的课题。
用户满意度作为量化体验度量的方法也一直备受关注。
那么用户满意度指标是怎么来的?评估模型该如何搭建?模型好坏又要如何判断?
本篇文章聚焦用户满意度模型搭建与检验,分享模型搭建与检验过程中的方法与技巧。

用户满意度评估的价值

早在20世纪30年代,就有学者在社会和实验心理学领域对满意度展开研究,研究表明用户满意度反映的是用户的一种心理状态,是用户对其明示的、隐含的需求和期望被满足程度的主观感受。
用户满意度评估对企业生存和产品体验提升都有重要的意义:一方面,随着移动互联网人口红利逐渐消失,手机应用获取新客的成本和难度变得越来越高,通过提升用户满意度充分激发现有用户价值成为企业非常重要的商业策略。

如美国顾客满意度指数ACSI数据表明,用户满意度的提升能带来用户消费频次的增加,同时也会为企业赢得更高的声誉,带来拉新、促活成本的降低。此外用户满意度通过度量产品体验现状和迭代动作有效性,对助力产品体验提升起着重要作用。

如何搭建用户满意度模型

用户满意度模型构建流程可分为「明确目标」「指标收集」「指标定义」「指标归属」「指标赋权」5个步骤:

step1：明确目标

明确评估目标包括明确评估用途和范畴,用户满意度评估的用途不同,在评估侧重和衡量方式上会有不同:
如衡量产品改版效果的用户满意度侧重关注改版目标是否达成,更关注改版前后影响体验目标达成的体验点变化。

用于摸底产品体验水平的用户满意度，侧重了解产品对用户需求和期待的满足情况,更关注产品自身体验长短板以及相较于其他同类产品体验优劣势。

此外需要考虑评估范畴,一方面需要明确仅评估本品还是同时覆盖竞品,对于未在行业中取得绝对领先地位的产品,更应考虑覆盖竞品评估,明确体验竞争优劣势的同时寻求竞品借鉴点。
另一方面需要明确评估产品全局还是聚焦部分模块,全局评估能获取用户对产品的整体感受,但在产品模块繁多或复杂时,受制于用户参与调研的耐心有限,针对每个模块的评估问题数量无法设置太多,导致评估颗粒度较粗,可考虑聚焦重点模块单独评估。

step2：指标收集

第2步是收集评估指标,用户满意度指标收集可结合案头侧、用户侧和专家侧三方信息获取:案头侧指标收集方式主要是案头研究和产品走查。
案头研究可重点关注成熟评估模型以及行业趋势、产品模式和用户需求分析报告,结合对产品的走查分析,提炼“好的产品体验”需要包含哪些要素。

常用的案头研究渠道和可查询的信息如下图:

用户侧指标收集方式主要有用户座谈会和客诉反馈,座谈会把目标用户邀请到一起畅谈对产品的需求和期待,邀请对产品使用程度较深的“专家级”用户能贡献更多有效信息。
另外客诉反馈也是能集中了解用户对产品关注点和痛点的数据渠道。

专家侧指标收集方法主要是专家访谈,通过向专家了解产品目标、目标实现方式及后续主要动作来拆解对当前产品体验重要的维度和指标。
专家访谈需要覆盖到能决策产品方向的人,且专家职能身份尽可能的多样化,如覆盖产品、运营、设计、技术、市场等不同职能角色。

step3：指标定义

第3步是指标定义,给指标下定义需考虑指标的体验标准高低和文案描述两方面。
体验标准选择要符合产品本阶段的目标,标准定得过高或过低都会让指标丧失灵敏性失去价值。指标描述一般要遵循通俗性、简洁性和单一性原则:

step4：指标归属

第4步是将定义好的指标进行维度划分与归属来构建评估模型。
维度初步划分有「用户接触产品的触点」和「产品功能模块」两种方式。
拿用户一次外出就餐的满意度举例,按用户接触产品的触点可以分为就餐前(选餐厅、查信息、订座等) 、就餐中(菜品、服务、环境等) 、就餐后(买单)满意度。而按功能模块划分可以分为餐厅信息、评论信息、优惠信息满意度。
无论采用哪种先验假设,模型构建都需要遵循“完备互斥”原则,即指标既齐全不遗漏,也没有重复。

step5：指标赋权

因为不同评估指标的重要性程度不一样,拿汽车产品的用户满意度评估为例,对普通轿车的满意度评估更看重实用舒适,而对越野车的满意度评估更看重汽车性能。

因此在完成评估模型搭建之后,需要赋予评估指标权重,指标赋权的方法按照打权重的人不同可以划分为专家赋权和用户赋权两大类:
用户赋权是根据用户对某个体验点(指标)满意度打分和对产品整体满意度打分之间的关系测算出来的间接赋权方法,体验点满意度分数变化对产品整体满意度分数变化的解释程度越高,体验点对应的指标权重就越大。常用的指标赋权方法有“线性回归”、“因子分析”和“结构方程模型”。

专家赋权是领域专家,如产品、运营、设计等对指标重要性进行主观判断,因此又叫直接赋权法,常见的直接赋权法有“直接评定法”、“分值分配法”和“层次分析法”。
“直接评定法”就是专家逐个判断指标重要性, “分值分配法”是预先给定所有指标一个总分,专家把总分分配到各个指标上, “层次分析法”是专家对指标重要性进行两两对比,因为能更好地在对比过程中帮助专家理清指标的相对重要性,层次分析法是专家赋权中更为常用的方法。

那么到底应该使用用户赋权还是专家赋权呢?
这两类赋权方式具有不同的特点,用户赋权反映了用户对评估指标所反映体验点的需求强度,在初次搭建模型对用户需求强度优先级不明确时可以考虑使用,但用户赋权受产品现状影响较大,产品当下已经成熟和形成规模的方向更容易获得较高权重,而对产品未来重要但目前规模较小的方向权重则可能较小。
专家赋权反映专家对产品现状和产品未来方向的综合判断,可以在产品较为成熟或开始尝试创新方向时考虑使用。

如何检验用户满意度模型

为了衡量用户满意度模型的好坏,完成模型搭建后需要对模型进行检验,模型检验分为「指标内容检验」和「结构归属检验」两类:

指标内容检验

指标内容检验关注指标描述对想要评估体验点的符合程度和可理解性,即指标的内容效度。
指标内容检验可通过领域专家完成,邀请至少3名以上专家对指标内容有效性、易理解性等维度打分,专家一致评价为符合的指标占比即为模型内容效度(S-CVI)
对于专家认为不符合或专家打分不一致的指标需要咨询专家具体原因并作出适当修改。
一般而言专家一致评价符合的指标不应低于80%。
常见的指标内容问题包括指标描述未能准确概括体验点、指标描述有歧义、指标定义的体验标准不合适等。

结构效度检验

结构效度检验是判断评估指标与想要测量概念(归属维度)之间关系的方法,判断归属关系的方式有看同一维度下指标间的相关关系,指标对测量概念的解释程度等。
常用的结构归属检验有同质性a信度检验、探索性因子分析和验证信因子分析。

每种检验方法都有自己判别指标归属和模型可靠的标准,但是在做指标归属调整和指标删减的时候不应该盲从于统计数据是否达标,还需要充分考虑指标实际意义、是否有助于我们实现评估目标等实际情况进行综合考虑。

结语

用户满意度模型需要跟随用户需求和产品发展变化而不断迭代更新,保证评估模型能反映用户需求和业务工作。