参考

体验设计度量,看这一篇就够了(上篇)(优酷设计团队 2021-2-18 知识密集)
https://mp.weixin.qq.com/s/UDNeOcp—7-n66-rKj2dwg
产品使用体验如何量化与管理——阿里云 UES 全面揭秘(阿里云设计中心 2020-06-11 图可好看)
https://mp.weixin.qq.com/s/9LJXsdXL54BzyuKcMjo8KA
《用户体验度量》书籍(并没有参考)
https://book.douban.com/subject/4009856/
验证探索:如何衡量和验证UE设计的效果(通用信息平台UED 今日头条UED 2021年2月1日)
https://mp.weixin.qq.com/s/INJ2k6LVehMpsLwIZc7oQQ
如何在复杂业务环境中构建产品体验度量模型?(58UXD 2021年1月29日)
https://mp.weixin.qq.com/s/9yN1oTJsvjwer-2xzkrt8w
体验的度量衡(滴滴 CDX创意设计中心 2020-11-13)
https://mp.weixin.qq.com/s/v2dvZZXf0cV0QCBDd7uXqQ

设计价值量化评估、设计质量评估模型/体系、体验度量理论和方法、设计模型的构建流程和方法、衡量和验证设计的效果;
质量评估体系可以帮助设计师明确设计方向和目标,并量化设计价值。
设计站在艺术、心理、技术结合的交叉领域,做量化是有很大难度的,但是为了更科学有效的做设计,需要建立设计评估标准。
面临的问题:在做设计时,设计方案和产品业务策略高度融合,设计师常常说不清楚自己在其中贡献了哪些部分;或者由于产品偏向于企业内部工具而缺乏充足和完善数据来验证结果。

无度量,不管理 现代管理学之父,彼得·德鲁克说:「如果你不能很好地度量它,也就无法有效地管理它。」 If you can’t measure it, you can’t manage it。——Druker

image.png
三篇:
指方向:通过建立设计质量评估模型,给设计团队指明当然业务阶段的设计方向。
定目标:帮助设计师通过业务目标拆解出设计目标,明确设计发力点。
拿结果:针对度量维度提供度量方法和可用工具,帮助设计师拿到结果。

  1. 国外相关模型
    HEART模型是目前各公司构建设计质量评估模型的基础,如果要构建用户体验度量模型或设计质量评估模型,需要深入研究HEART模型。
    PULSE模型
    HEART模型
    GSM模型
    以网站为维度来衡量的 PULSE、以用户为中心衡量的 HEART、以目标为导向衡量的 GSM。
    2. 国际标准
    明确国际标准下的度量标准,以及相关定义:
    ISO-9126 软件质量模型,评价软件质量的国际标准
    ISO-9241 关于办公室环境下交互式计算机系统的人类工效学国际标准
    3.主观评估指标
    了解行业衡量用户体验的主观指标,和客观指标共同度量设计体验。
    满意度 CSAT
    费力度 CES
    净推荐值 NPS
    image.png
    4. 阿里集团已有模型
    结合本土业务特点来构建,更适合指导国内的业务。通过研究不同团队和公司的质量度量模型,可以看到不同业务团队关注的核心问题是什么,是出于什么目的来构建模型,这也决定了模型最终的形态和应用方式。
    • 支付宝:PTECH
    • 阿里云:UES
    • 1688:五度模型
    image.png

模型

PULSE模型

PULSE模型是传统的网站衡量指标,从技术、用户忠诚度、商业收益来追逐产品的整体表现,无法直接通过模型去观测到用户体验是怎么样的。
image.png
【技术侧的用户体验——产品的用户忠诚度——商业收益】
Uptime 运行时间:技术指标,衡量网站持续稳定的运行时间。
Latency 延迟:技术指标,衡量用户打开页面的速度。
Page View 页面浏览量:产品指标,衡量页面被用户访问的次数,以及逐级页面的点击转化情况。
Seven days active user 七日用户活跃:产品指标,反应网站的实际运营情况,用于估计产品的用户规模。
Earning 收益:商业指标,电商类更关注GMV等指标,视频业务关注广告,VIP售卖等。

HEART模型

HEART模型由Google于2010年发表。《Measuring the User Experience on a LargeScale:User-Centered Metrics for WebApplications》虽然是为了网页端而设计,但是仍旧可以来指导移动端的体验度量。
HEART模型也有5个维度:
【态度——新增的维度——行为】
Happiness 愉悦度:用户主观体验,用户觉得产品对其有帮助,容易操作,使用产品或者功能时总感到愉悦。
Engagement 参与度:用户对产品内容感兴趣并愿意经常使用。
Adoption 接受度:用户看到新产品或新功能愿意进行使用。
Rentention 留存率:在一个时间内用户愿意回来继续使用产品或者功能。
Task Success 任务完成度:用户能够高效,准确地完成任务。

HEART模型 愉悦度(H):主观满意程度,包括 NPS、可用性、易用性、视觉感受度等; 参与度(E):活跃程度,包括访问频率、访问深度、停留时间、日活、月活等; 接受度(A):核心功能的使用,比如用淘宝买东西、支付宝支付、微信发朋友圈等; 留存率(R):次日留存率、周留存率、月留存率等; 任务完成度(T):任务完成效率和效果,任务时长、出错率、流失率等;

image.png

GSM模型

「无论一个度量标准多么以用户为中心,它都不太可能在实践中有用,除非它明确地与一个目标相关,并且可以用来跟踪进展」——from Google UX team
为了将度量标准应用于实践,Google的UX团队提出了GSM模型。G是Goal,S是Signal,M是Metric,是遵从「目标-信号-指标」的过程来定义数据指标的方法。

HEART+GSM结合

「通过明确团队的产品目标,识别成果或失败的适当信号(signal),然后度量来自这些信号的指标,产品团队可以一致地,有效的评估用户体验并做出决策」—— from Google UX team
image.png

ISO-9126 软件质量模型

ISO/IEC 9126 (1991) 软件质量模型是评价软件质量的国际标准。标准从产品,技术,设计3个方面,6个维度来评价软件质量。在设计方面,主要涉及的维度有「可移植性 Portability」中的「适应性」和「易安装性」,以及「易用性 Usability」中的「易理解」「易学」「易操作」「一致性」。

ISO-9241-11 Usability可用性

ISO9241-11 (1998) 从用户角度出定义什么是「可用性 Usability」。
衡量可用性的三个维度为「效益」「效率」「满意度」,相比9126的评估维度,增加了「满意度」的主观评价。
效益(effectiveness):用户完成任务的精确性和完整性。
效率(efficiency):用户完成任务所消耗的资源。
满意度(satisfaction):用户对任务流程的可接受程度。

满意度 CSAT

Study of Customer Satisfation,即「满意度」,于1965年提出。满意度能够体现出用户对产品短期内的幸福感。满意度的缺陷是无法体现用户对产品的长期态度。

费力度 CES

Net Promoter Score,即「净推荐值」于2003年被提出,是一种计量某个客户将会向其他人推荐某个企业或服务可能性的指数。NPS被用于衡量目用户长期的幸福感,广泛用于互联网产品来衡量用户忠诚度。

净推荐值 NPS

Customer Effort Score,即「费力度」于2010年提出,是基于满意度无法客观体现用户忠诚度的研究所提出的。费力度通过询问用户产品是否容易处理用户的问题,来发现用户对产品最真实的评价和用户的痛点,从而解决用户关注的问题以提升用户忠诚度。目前,费力度已经在国内的部分B端产品中得到落地应用,用于帮助设计师发现和解决复杂流程中的问题。

蚂蚁TECH模型

测量问卷具体指标拆解:
image.png
修正后的体验度量模型
核心任务体验(Task Success):主要聚焦于产品核心任务流程中的体验问题。可以采用定性、定量,或者两者结合的方式,最终来反映体验的细节问题。
参与度(Engagement):产品能够提供的需求和用户预想之间距离有多远?
清晰度(Clarity):引导、帮助清晰,用户是否能够顺利完成所想做的事情?
满意度(Happiness):用户对产品及其他方面的满意度,比如视觉外观等。
image.png

支付宝PTECH模型

支付宝UED团队提供以用户为中心的UBA(用户行为分析)+ APM(应用性能监测)闭环下的体验洞察,让产品体验可量化、可优化、可监控。可以看到PTECH是基于HEART模型来构建,但是也基于自身业务特性做出了优化,例如:

  • NPS改为用户主观满意度:NPS 对 C 类产品是一个很有效的指标,对于企业级中后台来说,往往由于企业产品的封闭内环、用户基数等众多原因,可能还是满意度来的更加有效。
  • 不强调留存率:企业级产品用户往往没有太多的可选余地,因此留存率未必适合用来衡量用户对于产品的喜好。
  • 参与度和接受度指标合并:对于企业级中后台系统,用户使用的目标性更强,TA 就是来完成某个任务或完成工作的,因此活跃度基本和产品能否满足用户的需求强相关。

(较为适合B端产品)

image.png

阿里云UES模型

UES(User Experience System)是阿里云设计中心通过多年设计实践中沉淀下来的云产品使用体验度量系统,阿里云的体验度量模型是从达成阿里云平台产品的设计体验「一致性」为目的所诞生,在之后的发展中又增加了「易用性」、「任务效率」、产品的「满意度」,技术的「性能」,在设计、产品、技术各团队对体验度量模型的认可度上,以及实际应用上,都是做的最为落地的。(较为适合B端产品)
https://mp.weixin.qq.com/s/9LJXsdXL54BzyuKcMjo8KA
根据 B 类技术产品特性,在多个维度中评估和挑选,重新思考定制,设计了 UES 模型的五个维度:

易用性 - Ease of use 易⽤性是产品使用质量的核心维度,它反应产品对⽤户而言是否易于学习和使用,包含易学性、易操作性和清晰性3个维度。易⽤性的提升可以促进操作效率和任务完成率的提升、降低学习成本、提升⽤户体验和满意度。 一致性 - Consistency 一致性指多款产品间通用范式部分的一致程度,分为整体样式、通用框架和常用场景及组件等维度。对于⽤户⽽⾔,体验⼀致性的提⾼可以降低⽤户的操作时⻓及错误率,降低学习成本,提升⽤户的满意度;对于产品设计及开发者⽽⾔,保持体验⼀致性可以提升开发效能,产品模块的可集成性、稳定性和可延续性更⾼。 满意度 - Happiness 满意度反映着用户对产品或服务的期望被满足的程度,这个指标一定程度上会反映用户再次使用和对产品进行推荐的程度。 任务效率 - Task Success 任务效率包含任务完成率和任务完成时间,云产品的任务链路相对复杂,针对有明确任务或有固定使用流程的产品,通过比对用户路径和产品设计的理想路径之间的差异,能够帮助我们发现产品流程设计上的问题。 性能 - Performance 监控性能的指标有很多,其中最影响用户感知的指标是首屏渲染时间(FMP),指用户从发出请求到看到控制台主要内容的时间。其次,还包括页面请求响应时间、API 请求响应时间等指标。

1688五度模型

五度模型是阿里巴巴1688UED团队在Google的HEART模型的基础上,结合国内互联网的特点,加上多年的设计经验总结出来的。五度模型是按照用户使用产品的整个生命周期过程来组织的,从用户的行为与态度和当下与未来这两个维度进行分解,五度分别为吸引度、完成度、满意度、忠诚度和推荐度。相比阿里云和支付宝的模型较为适合B端产品,五度模型的应用场景更加适合C端产品。
image.png

AIDA模型

AIDA模型是营销沟通过程的一种。消费者从接触外界营销信息到完成购买行为,根据其反应程度的不同,可划分为注意(attention)、兴趣(interest)、欲望(desire)和行动(action)四个连续的阶段。
1925年,斯特朗将AIDA模型引入广告效果评价中,成为第一个广告效果测量模型。
该模型告诉我们:广告效果不是一个含混的概念,它可以分解出不同的层次,我们在考察某一次广告活动的效果时应该分别测量该广告是否或者在多大程度上引起了消费者的“注意”、激发了他们的“兴趣”,刺激了他们的“愿望”、改变了他们的“行为”或者“行为意向”。

ABCD模型

【找不到…】
A到B,一定存在着简化;B到C,一定存在着衰减;C到D,一定加入了接收者的个人因素。所以,A和D肯定是不同的。

QMD设计品质驱动模型

来自58UXD
QMD(Quality,Metrics,Driven)设计品质驱动模型
QMD模型包括三个层面:体验提升目标(Quality)、度量标准(Metrics)和驱动方式(Driven)。在Quality层面需要明确当下产品体验质量提升的目标,根据目标拆解出度量维度和指标(Metrics),随后在组织内建立高效评估机制与流程(Driven),实现体验质量可观测,体验问题可挖掘,体验优化可推动。

其他模型

技术接受模型
技术接受模型( Technology Acceptance Model,TAM )中,Davis 指出了两个影响技术类产品使用的核心因素:“有用性(usefulness)”和“易用性(ease of use)”。“有用性”更多是产品能力本身层面的属性,关乎功能和商业,而“易用性”则是设计师能把握和发力的核心。
如何度量易用性呢?通过对计算机系统可用性问卷(computer system usability questionnaire,CSUQ)、用户界面满意度问卷(Questionnaire for User Interface Satisfaction,QUIS)、网站分析和测量问卷(WAMMI)、系统可用性量表(System usability scale,SUS)等 15 个经过广泛应用的体验度量方法进行分析和验证,并基于测试难度和置信区间进行综合评估,最终我们得出结论:并没有一个合适的易用性量表。
USE量表,尼尔森十大原则,信息架构之父Peter Morville的蜂巢模型;

影响产品用户体验度量的关键因素

  • 产品类型:企业级产品(B端产品)和消费级产品(C端产品)可用的评估方法和维度有所不同,这也是由于其用户的类型和量级不同所导致的。
  • 功能类型:设计需要考量的维度也具有较强的共通性,例如任何功能类型都可以从易用性角度考察设计是否清晰,易读,高效。但是,如果某功能需要要用户完成一系列复杂的操作,则需要更多的去考量易用性。
  • 用户态度:用户对产品的主观感受,包括心智的认知和情感都可以作为衡量用户体验的维度。其中,NPS是C端业务最为关注的用户忠诚度指标,如引入NPS,可以将设计或者用户体验对NPS的影响也作为设计的目标考量。
  • 性能体验:产品的稳定、流畅性。例如开启速度、卡顿比率、崩溃率等技术性指标。

image.png

OADI模型

「个体学习的OADI模型(Kofman,1992)」来建立用户和设计的关联性。个体的学习过程可描述为“ 见-解-思-行”的循环,简称OADI循环。
「见 Observe」 是看到,是从外界或者经历中取得信息,在设计层面可以对应为「吸引性」。
「解 Assess」是理解,是对得到的素材进行解释、评估,加以理解,在设计层面可以对应为「易理解性」。
「思 Design」是吸收,是对理解的信息进行分析重构,在设计层面可以对应为「易用性」。
「行 Implemen」是行动,是基于信息进行行动,在设计层面可以对应为行动的质量,即为「任务效率」。
image.png

干货

「明确产品诉求-明确产品评估指标-设计目标推导-建立设计目标和设计维度的关联」
image.png
初步构建设计质量评估模型
image.png
明确优酷视频业务C&B端的产品特性
C端视频分发和消费场业务核心目标为「分发」、「消费」、「互动」。B端产品的核心目标为「任务效率」,具体场景为多角色的多步骤任务,以及信息图表的浏览和决策。
image.png
设计维度和用户主观态度的关系
image.png

通用模型

通用模型为各业务、产品都会涉及到的设计通用维度,更专注于设计本身的维度度量。任何功能类型都可以从基础体验和完成度角度考察设计是否吸引、清晰、易读、高效。将满意度和费力度合并在一个类别下中,作为用户主观态度维度。另外,新增了品牌性和创新性,激励设计师在这两个专业方向上进行探索。在模型的自构建上可以有一定的自定义维度,来满足当前业务的设计指向性上的需求。
image.png