如何进行体验度量.pdf
体验设计度量，看这一篇就够了（上篇） - 图2
如何评估设计价值已经成为设计同行都在思考和研究的课题。本篇将通过复盘优酷设计构建内容行业的设计质量评估体系的过程，盘点国内外现有体验度量理论和国内已有落地方法，总结设计模型的构建流程和方法，希望与设计同行共同讨论设计价值量化的方法。通过阅读本文章，设计团队也可以构建属于自己业务的设计质量评估模型。

为什么要研究设计度量

设计站在艺术，心理，技术结合的交叉领域，做量化是有很大难度的，但是为了更科学有效的做设计，需要建立设计评估标准。现在，设计质量评估研究已经成为设计行业趋势。阿里，滴滴，微软等设计团队都就设计质量度量进行了研究。优酷设计团队基于现有研究，开始搭建设计质量评估体系。质量评估体系将帮助设计师明确设计方向和目标，并量化设计价值。

设计质量评估体系

设计师在具体的工作中可能面临这样的问题：在做设计时，设计方案和产品业务策略高度融合，设计师常常说不清楚自己在其中贡献了哪些部分；或者由于产品偏向于企业内部工具而缺乏充足和完善数据来验证结果。出于为了设计师指出方向，量化设计价值的目的，我们通过建立设计质量评估体系，构建了一套“指方向，定目标，拿结果”的设计评估方法。这套方法能够帮助设计师去统一和明确设计方向，正确的定义设计目标，通过科学的手段拿到结果。

  • 指方向：通过建立设计质量评估模型，给设计团队指明当然业务阶段的设计方向。
  • 定目标：帮助设计师通过业务目标拆解出设计目标，明确设计发力点。
  • 拿结果：针对度量维度提供度量方法和可用工具，帮助设计师拿到结果。

体验设计度量，看这一篇就够了（上篇） - 图3

我们计划用3篇文章来分享下以上3点。本篇为「设计质量评估体系」系列文章的第一篇，主要讲一下如何构建设计质量评估模型。我们通过在优酷设计团队建立质量评估模型的过程，沉淀了如何构建设计质量评估模型的过程和方法。目前，这套设计质量评估体系正在落地实验和迭代中，欢迎各位提出建议。
体验设计度量，看这一篇就够了（上篇） - 图4

模型构建的流程

优酷的质量评估模型构建经历了以下3个步骤：

  • Step1. 构建用户体验度量框架：基于已有用户体验度量模型和相关理论的对比研究，并通过研究阿里集团内部及外部公司已有设计度量的模型和探索，总结出度量设计唯独上的通用性和差异性维度，提炼出用户体验度量模型框架，明确设计在框架中可影响的维度和比重。
  • Step2. 构建设计度量模型：这一步骤主要是为了将模型度量方法和优酷业务建立关联。首先，我们提取了优酷各业务的核心目标，基于核心目标拆解出设计目标，并将设计指标影响的设计因素进行梳理和优先级排序，反推出设计度量模型，和Step1中的用户体验度量框架进行拟合，将模型维度迭代为更适合优酷特性的设计度量通用模型。
  • Step3：构建具有业务特性的设计度量模型：为负责不同子业务的设计团队建立模型，基于各设计团队当前的核心目标，为设计师指出方向。

体验设计度量，看这一篇就够了（上篇） - 图5

过往用户体验度量模型和理论研究

在构建模型之前，我们先要回溯到最初的用户体验评估模型和方法中去，我们带着4个问题去进行研究：

  • 行业中已有的用户体验度量模型有哪些？
  • 从哪些维度可以度量用户体验？
  • 用户体验和设计的关系是什么？
  • 是否有可以将已有的模型可以用在自己的业务上？

带着以上问题，我们进行了如下4个方面的研究：

1. 国外相关模型

国外用户体验行业兴起早于国内，因此在理论研究上为用户体验的度量奠定了基础。我们可以借鉴的关键模型为以下3个，其中，HEART模型是目前各公司构建设计质量评估模型的基础，如果要构建用户体验度量模型或设计质量评估模型，需要深入研究HEART模型。

  • PULSE模型
  • HEART模型
  • GSM模型

2. 国际标准

明确国际标准下的度量标准，以及相关定义:

  • ISO-9126 软件质量模型，评价软件质量的国际标准
  • ISO-9241 关于办公室环境下交互式计算机系统的人类工效学国际标准

3.主观评估指标

了解行业衡量用户体验的主观指标，和客观指标共同度量设计体验。

  • 满意度 CSAT
  • 费力度 CES
  • 净推荐值 NPS

4. 阿里集团已有模型

集团已有模型研究给予了我们很大启发，这些模型是基于国外已有理论，结合本土业务特点来构建的，更适合指导国内的业务。通过研究不同团队和公司的质量度量模型，可以看到不同业务团队关注的核心问题是什么，是出于什么目的来构建模型，这也决定了模型最终的形态和应用方式。
• 支付宝：PTECH
• 阿里云：UES
• 1688：五度模型

接下来则会详细的展开介绍这些行业已有的内容，帮助我们了解这些方法的来源和发展，以指导我们目前的研究。

国外相关模型研究

体验设计度量，看这一篇就够了（上篇） - 图6

PULSE模型-网页体验度量模型

PULSE模型是传统的网站衡量指标，通过商业指标和技术指标，衡量网站的整体表现。模型有5个维度：

  • Page View 页面浏览量：产品指标，衡量页面被用户访问的次数，以及逐级页面的点击转化情况。
  • Uptime 运行时间：技术指标，衡量网站持续稳定的运行时间。
  • Latency 延迟：技术指标，衡量用户打开页面的速度。
  • Seven days active user 七日用户活跃：产品指标，反应网站的实际运营情况，用于估计产品的用户规模。
  • Earning 收益：商业指标，电商类更关注GMV等指标，视频业务关注广告，VIP售卖等。

体验设计度量，看这一篇就够了（上篇） - 图7

PULSE模型是传统的网站衡量指标，从技术、用户忠诚度、商业收益来追逐产品的整体表现，无法直接通过模型去观测到用户体验是怎么样的。

HEART模型-以用户为中心的体验度量模型

HEART模型由Google于2010年发表于，是以用户为中心的度量模型。HEART模型的出发点是做以用户为中心的，能够用于大范围的用户体验度量方法。虽然是为了网页端而设计，但是到今天来看，HEART模型仍旧可以来指导移动端的体验度量。Measuring the User Experience on a LargeScale：User-Centered Metrics for WebApplications》提出，是以用户为中心的度量模型。

HEART模型也有5个维度：

  • Happiness 愉悦度：用户主观体验，用户觉得产品对其有帮助，容易操作，使用产品或者功能时总感到愉悦。
  • Engagement 参与度：用户对产品内容感兴趣并愿意经常使用。
  • Adoption：用户看到新产品或新功能愿意进行使用。
  • Rentention：在一个时间内用户愿意回来继续使用产品或者功能。
  • Task Success：用户能够高效，准确地完成任务。

体验设计度量，看这一篇就够了（上篇） - 图8

HEART模型是一个构建完善的用户体验度量模型，涵盖了用户主客观数据，以及可用性指标。如果想要构建一套自己的度量模型，需要先从HEART模型入手，理解用户体验度量的维度和指标，再看哪些适合自己业务特性。

GSM模型

「无论一个度量标准多么以用户为中心，它都不太可能在实践中有用，除非它明确地与一个目标相关，并且可以用来跟踪进展」——from Google UX team

为了将度量标准应用于实践，Google的UX团队提出了GSM模型。G是Goal，S是Signal，M是Metric，是遵从「目标-信号-指标」的过程来定义数据指标的方法。体验设计度量，看这一篇就够了（上篇） - 图9

HEART+GSM

「通过明确团队的产品目标，识别成果或失败的适当信号（signal），然后度量来自这些信号的指标，产品团队可以一致地，有效的评估用户体验并做出决策」—— from Google UX team

GSM模型和HEART模型相结合，构建出了完整的用户体验评估模型。从模型中，可以看出每一个度量维度相关的目标，信号，和衡量的指标，以及拿到这些衡量指标的评估方法。因此，模型的落地应用和目标的拆解密不可分。
体验设计度量，看这一篇就够了（上篇） - 图10

HEART+GSM模型构建了有效和全面的进行用户体验度量的基础方法论。如果想要构建一套自己的度量模型，需要先从HEART模型入手，理解用户体验度量的维度和指标，再基于GSM明确模型应用的方向。

ISO国际标准研究

ISO-9126 软件质量模型

ISO/IEC 9126 (1991) 软件质量模型是评价软件质量的国际标准。标准从产品，技术，设计3个方面，6个维度来评价软件质量。在设计方面，主要涉及的维度有「可移植性 Portability」中的「适应性」和「易安装性」，以及「易用性 Usability」中的「易理解」「易学」「易操作」「一致性」。其中，「易用性」的概念涵盖了用户体验中常规易用性的维度。「Usability」的衡量维度有着很大的借鉴价值，可以理解为「可用性」的概念拆分
体验设计度量，看这一篇就够了（上篇） - 图11

ISO-9241-11 Usability可用性的定义

ISO9241-11 (1998) 从用户角度出定义什么是「可用性 Usability」。可用性的定义为一个产品可以被特定用户，在特定场景下，达成特定目标的效率，效率和满意度。衡量可用性的三个维度为「效益」「效率」「满意度」，相比9126的评估维度，增加了「满意度」的主观评价。

  • 效益（effectiveness）：用户完成任务的精确性和完整性。
  • 效率（efficiency）：用户完成任务所消耗的资源。
  • 满意度（satisfaction）：用户对任务流程的可接受程度。

ISO9241对Usablity的定义在今日的设计质量评估仍旧有很强的指导性和应用性。和ISO9126相比较，ISO9241的对可用性的定义距离可用性的评估落地更进一步，具备很强的可操作性。在衡量完成特定任务的过程中，用「效率」和「效益」，一般为任务完成程度和所消耗的时间/人力即可评估出特定任务的可用性，在流程较长的B端产品体验度量中尤为常用。

主观指标研究：用户体验三大行业指标的对比

体验设计度量，看这一篇就够了（上篇） - 图12

满意度 CSAT

Study of Customer Satisfation，即「满意度」于1965年提出，其后被广泛应用于衡量产品的用户主观感受。满意度的适用性非常高，可以用于询问用户各种问题，可以看整体的产品体验满意度，也可以看具体的某个功能的满意度。满意度能够体现出用户对产品短期内的幸福感。满意度的缺陷是无法体现用户对产品的长期态度。

净推荐值 NPS

Net Promoter Score，即「净推荐值」于2003年被提出，是一种计量某个客户将会向其他人推荐某个企业或服务可能性的指数。NPS被用于衡量目用户长期的幸福感，广泛用于互联网产品来衡量用户忠诚度。

费力度 CES

Customer Effort Score，即「费力度」于2010年提出，是基于满意度无法客观体现用户忠诚度的研究所提出的。费力度通过询问用户产品是否容易处理用户的问题，来发现用户对产品最真实的评价和用户的痛点，从而解决用户关注的问题以提升用户忠诚度。目前，费力度已经在国内的部分B端产品中得到落地应用，用于帮助设计师发现和解决复杂流程中的问题。
体验设计度量，看这一篇就够了（上篇） - 图13

阿里集团已有模型研究

支付宝PTECH模型

支付宝UED团队提供以用户为中心的UBA（用户行为分析）+ APM（应用性能监测）闭环下的体验洞察，让产品体验可量化、可优化、可监控。可以看到PTECH是基于HEART模型来构建，但是也基于自身业务特性做出了优化，例如：

  1. NPS改为用户主观满意度：NPS 对 C 类产品是一个很有效的指标，对于企业级中后台来说，往往由于企业产品的封闭内环、用户基数等众多原因，可能还是满意度来的更加有效。
  2. 不强调留存率：企业级产品用户往往没有太多的可选余地，因此留存率未必适合用来衡量用户对于产品的喜好。
  3. 参与度和接受度指标合并：对于企业级中后台系统，用户使用的目标性更强，TA 就是来完成某个任务或完成工作的，因此活跃度基本和产品能否满足用户的需求强相关。

体验设计度量，看这一篇就够了（上篇） - 图14

阿里云UES模型

UES（User Experience System）是阿里云设计中心通过多年设计实践中沉淀下来的云产品使用体验度量系统，阿里云的体验度量模型是从达成阿里云平台产品的设计体验「一致性」为目的所诞生，在之后的发展中又增加了「易用性」、「任务效率」、产品的「满意度」，技术的「性能」，在设计、产品、技术各团队对体验度量模型的认可度上，以及实际应用上，都是做的最为落地的。UES不仅是一套方法论，更是一套可运行的体系。目前，UES模型已经产品化，并能够为集团内其他BG所应用。
体验设计度量，看这一篇就够了（上篇） - 图15

1688五度模型

五度模型是阿里巴巴1688UED团队在Google的HEART模型的基础上，结合国内互联网的特点，加上多年的设计经验总结出来的。五度模型是按照用户使用产品的整个生命周期过程来组织的，从用户的行为与态度和当下与未来这两个维度进行分解，五度分别为吸引度、完成度、满意度、忠诚度和推荐度。相比阿里云和支付宝的模型较为适合B端产品，五度模型的应用场景更加适合C端产品。
体验设计度量，看这一篇就够了（上篇） - 图16

过往研究带给我们的洞察

通过设计维度+设计目标的交叉来建立设计价值和业务价值的关联性

经过我们的对比研究，设计质量模型的构建方法就是用“HEART+业务特色”来建立的。通过加入GSM模型，通过业务目标拆解设计目标，则可以让设计价值和业务价值建立连接，具体如何拆解设计目标我们将在下一篇文章“定目标”里详细阐述。
体验设计度量，看这一篇就够了（上篇） - 图17

影响产品用户体验度量的关键因素

  • 产品类型：企业级产品（B端产品）和消费级产品（C端产品）可用的评估方法和维度有所不同，这也是由于其用户的类型和量级不同所导致的。
  • 功能类型：设计需要考量的维度也具有较强的共通性，例如任何功能类型都可以从易用性角度考察设计是否清晰，易读，高效。但是，如果某功能需要要用户完成一系列复杂的操作，则需要更多的去考量易用性。
  • 用户态度：用户对产品的主观感受，包括心智的认知和情感都可以作为衡量用户体验的维度。其中，NPS是C端业务最为关注的用户忠诚度指标，如引入NPS，可以将设计或者用户体验对NPS的影响也作为设计的目标考量。
  • 性能体验：产品的稳定、流畅性。例如开启速度、卡顿比率、崩溃率等技术性指标。

image.png

构建用户体验评估模型

  1. 根据C和B业务拆分为用户、产品、技术3个部分的度量内容；其中B端依据产品的用户群分为对外产品和对内产品，对外产品的维度和C端产品更类似。
  2. 通过GSM模型推导设计指标。
  3. 度量方法和指标。


体验设计度量，看这一篇就够了（上篇） - 图19

我们已经有了用户体验模型的初步结构，也对产品进行了划分类型，初步划分了C&B端不同类型业务看的维度是什么，给出了用户体验度量的方法。但是对于设计层面仍缺乏更细节的指向性。因此，我们尝试从目前最关注的业务的核心目标上，进一步构建具有一定「业务指向性」的「设计」度量模型。

构建设计度量模型

基于不同的业务特性，每一个模型对维度的选择和侧重也不相同，阿里云、支付宝、1688等的模型是具备自身业务特性的，因此不同的业务也需要仔细考量自身的业务特性是什么，才能建立对自己行之有效的设计评估模型。这方面，也需要通过盘点核心业务，用户诉求，再将业务目标拆解到设计目标来验证维度的构建是否合理。

建立设计度量维度和用户的关系

用户是如何通过产品的「设计」来达成目标的呢？设计能够帮助用户去更好的理解和使用产品。我们采用了「个体学习的OADI模型（Kofman，1992）」来建立用户和设计的关联性。个体的学习过程可描述为“ 见－解－思－行”的循环，简称OADI循环。

  • 「见 Observe」 是看到，是从外界或者经历中取得信息，在设计层面可以对应为「吸引性」。
  • 「解 Assess」是理解，是对得到的素材进行解释、评估，加以理解，在设计层面可以对应为「易理解性」。
  • 「思 Design」是吸收，是对理解的信息进行分析重构，在设计层面可以对应为「易用性」。
  • 「行 Implemen」是行动，是基于信息进行行动，在设计层面可以对应为行动的质量，即为「任务效率」。

体验设计度量，看这一篇就够了（上篇） - 图20

建立设计度量维度和业务目标的关系

产品是如何通过「设计」来达成目标的呢？设计要帮助产品达成业务目标，那么设计就需要从产品的目标去找到设计发力点。我们总结了一套「明确产品诉求-明确产品评估指标-设计目标推导-建立设计目标和设计维度的关联」的方法，来建立产品目标到设计目标和衡量维度到关联。
image.png

初步构建设计质量评估模型

体验设计度量，看这一篇就够了（上篇） - 图22

模型使用和反馈收集

设计师使用模型的主要难点：

  1. 模型的维度较多，不同的项目应该重点看哪个维度？
  2. 视觉和交互链路重合，但是对于视觉设计师和交互设计师而言，看的维度是否有侧重？
  3. 设计目标的拆解应该如何进行？

构建具有业务特性的设计度量模型

为了降低设计师的使用成本，设计团队基于不同的功能或场景抽象出优先考虑的度量维度，以更快速的给设计师指出方向。

进一步明确优酷视频业务C&B端的产品特性

C端视频分发和消费场业务核心目标为「分发」、「消费」、「互动」。B端产品的核心目标为「任务效率」，具体场景为多角色的多步骤任务，以及信息图表的浏览和决策。通过目标拆解方法，汇总用户消费和互动的核心链路上的设计发力点，再次汇总设计维度。
体验设计度量，看这一篇就够了（上篇） - 图23

明确设计维度和用户主观态度的关系

明确设计各维度之间的关系，主要是为了进一步挖掘设计维度和NPS、忠诚度的关联性。
体验设计度量，看这一篇就够了（上篇） - 图24

重构通用模型

通用模型为各业务、产品都会涉及到的设计通用维度，更专注于设计本身的维度度量。任何功能类型都可以从基础体验和完成度角度考察设计是否吸引、清晰、易读、高效。将满意度和费力度合并在一个类别下中，作为用户主观态度维度。另外，新增了品牌性和创新性，激励设计师在这两个专业方向上进行探索。在模型的自构建上可以有一定的自定义维度，来满足当前业务的设计指向性上的需求。
体验设计度量，看这一篇就够了（上篇） - 图25

针对各业务的设计团队制定具备指向性的模型

针对各业务的设计团队制定具备指向性的模型。我们基于目前优酷业务的主要3类产品「B端平台」、「长视频消费端」、「短视频消费端」来构建模型。各业务选择了当前业务最关注的维度构建了自己的模型。
体验设计度量，看这一篇就够了（上篇） - 图26

总结

模型构建

基于HEART和GSM的模型构建方法已较为完善，各设计团队在研究之后可以构建能够指导自己团队的设计质量度量模型。

  1. 设计维度的选择从自己业务的核心场景和目标来推导。需要通过核心业务的场景或路径明确达成目标的用户关键使用路径，判断哪些维度能够影响到业务指标和用户关键路径上的指标，将这些指标选择出来作为核心维度。
  2. 设计的度量需要考虑主观和客观数据，用户主观态度和数据指标需兼顾才能全面的对设计进行度量。

注意事项

  1. 设计质量度量模型是一种指方向的方法，需和设计目标结合起来使用，用于指导设计师在具体设计中所关注的维度和发力点。
  2. 设计质量度量模型为设计指出了大的方向，但是具体落地还有赖于基于具体的业务场景去选取其中的部分方法来应用。
  3. 设计质量度量模型的衡量维度在一个阶段内不宜过多，用于集中设计师的目光去完善自身的设计，但是对于部分场景或者任务可增加一些辅助的维度用于全面的度量设计质量。

体验设计度量，看这一篇就够了（上篇） - 图27

部分参考文献

  1. 2010 ACM, Measuring the User Experience on a LargeScale：User-Centered Metrics for WebApplications
  2. ISO/IEC 9126:1991, Software enginnering — Product quality, https://www.iso.org/standard/16722.html
  3. ISO 9241-11:1998, Ergonomic requirements for office work with visual display terminals (VDTs) — Part 11: Guidance on usability, https://www.iso.org/standard/16883.html
  4. 2003, The One Number You Need to Grow, https://www.netpromoter.com
  5. 《U一点·料：阿里巴巴1688UED体验设计践行之路》
  6. 产品使用体验如何量化与管理—阿里云 UES 揭秘 https://mp.weixin.qq.com/s/9LJXsdXL54BzyuKcMjo8KA
  7. 2019 SEE CONF 蚂蚁金服体验科技大会