原文链接:https://mp.weixin.qq.com/s/UDNeOcp—7-n66-rKj2dwg
【设计度量衡方法】体验设计度量,看这一篇就够了(上篇) - 图1

如何评估设计价值已经成为设计同行都在思考和研究的课题。本篇将通过复盘优酷设计构建内容行业的设计质量评估体系的过程,盘点国内外现有体验度量理论和国内已有落地方法,总结设计模型的构建流程和方法,希望与设计同行共同讨论设计价值量化的方法。通过阅读本文章,设计团队也可以构建属于自己业务的设计质量评估模型。

为什么要研究设计度量
设计站在艺术,心理,技术结合的交叉领域,做量化是有很大难度的,但是为了更科学有效的做设计,需要建立设计评估标准。现在,设计质量评估研究已经成为设计行业趋势。阿里,滴滴,微软等设计团队都就设计质量度量进行了研究。优酷设计团队基于现有研究,开始搭建设计质量评估体系。质量评估体系将帮助设计师明确设计方向和目标,并量化设计价值。

设计质量评估体系
设计师在具体的工作中可能面临这样的问题:在做设计时,设计方案和产品业务策略高度融合,设计师常常说不清楚自己在其中贡献了哪些部分;或者由于产品偏向于企业内部工具而缺乏充足和完善数据来验证结果。出于为了设计师指出方向,量化设计价值的目的,我们通过建立设计质量评估体系,构建了一套 “指方向,定目标,拿结果” 的设计评估方法。这套方法能够帮助设计师去统一和明确设计方向,正确的定义设计目标,通过科学的手段拿到结果。

●指方向:通过建立设计质量评估模型,给设计团队指明当然业务阶段的设计方向。
●定目标:帮助设计师通过业务目标拆解出设计目标,明确设计发力点。
●拿结果:针对度量维度提供度量方法和可用工具,帮助设计师拿到结果。

设计质量评估体系

DESIGNQUALITYEVALUATIONSYSTEM

策略

目标

实现

现状

C 端

设计质量评估模型

策略 1 / 提炼设计通用度量维度

缺乏体系化的度量

调研业务特性和设计维度的关联性

建立 C&B 能够通用的设

指导

计质量度量方法

模型维度对应的度量方法

指方向

给方法

B 端

策略 2 / 基于业务在 C&B 端共性

和差异提炼差异性维度

缺乏设计质量度量

建工具

评估方法

度量方法对应的可用工具

明确 C&B 可通用和差异性度量维度

【设计度量衡方法】体验设计度量,看这一篇就够了(上篇) - 图2

我们计划用 3 篇文章来分享下以上 3 点。本篇为「设计质量评估体系」系列文章的第一篇,主要讲一下如何构建设计质量评估模型。我们通过在优酷设计团队建立质量评估模型的过程,沉淀了如何构建设计质量评估模型的过程和方法。目前,这套设计质量评估体系正在落地实验和迭代中,欢迎各位提出建议。

设计质量评估体系

DESIGNQUALITYEVALUATIONSYSTEM

拿结果

指方向

定目标

第三篇

第一箭

第二篇

如何更量化的体现设计价值

如何构建设计质量评估模型

如何拆解设计目标

【设计度量衡方法】体验设计度量,看这一篇就够了(上篇) - 图3

模型构建的流程
优酷的质量评估模型构建经历了以下 3 个步骤:

●Step1. 构建用户体验度量框架:基于已有用户体验度量模型和相关理论的对比研究,并通过研究阿里集团内部及外部公司已有设计度量的模型和探索,总结出度量设计唯独上的通用性和差异性维度,提炼出用户体验度量模型框架,明确设计在框架中可影响的维度和比重。

●Step2. 构建设计度量模型:这一步骤主要是为了将模型度量方法和优酷业务建立关联。首先,我们提取了优酷各业务的核心目标,基于核心目标拆解出设计目标,并将设计指标影响的设计因素进行梳理和优先级排序,反推出设计度量模型,和 Step1 中的用户体验度量框架进行拟合,将模型维度迭代为更适合优酷特性的设计度量通用模型。

●Step3:构建具有业务特性的设计度量模型:为负责不同子业务的设计团队建立模型,基于各设计团队当前的核心目标,为设计师指出方向。

模型建立的流程和方法

STEP1 构建用户体验评估框架

STEP.2 基于业务构建设计度量模型

STEP.3 建立子业务设计度量模型

已有理论研究

业务目标研究

子业务目标对焦

通用维度和差异性维度

构建用户体验评估模型

设计目标拆解

提取设计影响范围

构建设计质量评估模型

子构建子业务设计质量评估模型

【设计度量衡方法】体验设计度量,看这一篇就够了(上篇) - 图4

过往用户体验度量模型和理论研究
在构建模型之前,我们先要回溯到最初的用户体验评估模型和方法中去,我们带着 4 个问题去进行研究:
●行业中已有的用户体验度量模型有哪些?
●从哪些维度可以度量用户体验?
●用户体验和设计的关系是什么?
●是否有可以将已有的模型可以用在自己的业务上?

带着以上问题,我们进行了如下 4 个方面的研究:

  1. 国外相关模型
    国外用户体验行业兴起早于国内,因此在理论研究上为用户体验的度量奠定了基础。我们可以借鉴的关键模型为以下 3 个,其中,HEART 模型是目前各公司构建设计质量评估模型的基础,如果要构建用户体验度量模型或设计质量评估模型,需要深入研究 HEART 模型。
    ●PULSE 模型
    ●HEART 模型
    ●GSM 模型

  2. 国际标准
    明确国际标准下的度量标准,以及相关定义:
    ●ISO-9126 软件质量模型,评价软件质量的国际标准
    ●ISO-9241 关于办公室环境下交互式计算机系统的人类工效学国际标准

  1. 主观评估指标
    了解行业衡量用户体验的主观指标,和客观指标共同度量设计体验。
    ●满意度 CSAT
    ●费力度 CES
    ●净推荐值 NPS

  2. 阿里集团已有模型
    集团已有模型研究给予了我们很大启发,这些模型是基于国外已有理论,结合本土业务特点来构建的,更适合指导国内的业务。通过研究不同团队和公司的质量度量模型,可以看到不同业务团队关注的核心问题是什么,是出于什么目的来构建模型,这也决定了模型最终的形态和应用方式。
    • 支付宝:PTECH
    • 阿里云:UES
    • 1688:五度模型

接下来则会详细的展开介绍这些行业已有的内容,帮助我们了解这些方法的来源和发展,以指导我们目前的研究。

国外相关模型研究

PULSE,HEART?GSM 背景和价值

由 PULSE 侧重技术和商业度量转向 Hear 用户体验度量通过 GSM 可统一有效地评 U 决策

CHI 社区国外网络分析社区

GOOGLE

缺失大规模行为数据指标

CHI 动机不是以用户会中心

Pulse

定义指标

基于商业和技

术的产品评估

模型

(大规模以用户为中心

态度数据

扩展

设计师

关键业务 + 用户目标

满意度

用研

产品

小规模 > 大规模

HEART

优化过程你

基于用户为中

模型

可用性研究 + 现场研究

心的产品评估

大量产品, 用户

行为数据

设计师

有效性: 任务完成率, 错误率

优化问题

GSM

态度数据 + 行为数据

用研

效率: 工作时长

基于度最维度

模型

CHI 社区

进行指标推演

小规模

【设计度量衡方法】体验设计度量,看这一篇就够了(上篇) - 图5

PULSE 模型 - 网页体验度量模型
PULSE 模型是传统的网站衡量指标,通过商业指标和技术指标,衡量网站的整体表现。模型有 5 个维度:
●Page View 页面浏览量:产品指标,衡量页面被用户访问的次数,以及逐级页面的点击转化情况。
●Uptime 运行时间:技术指标,衡量网站持续稳定的运行时间。
●Latency 延迟:技术指标,衡量用户打开页面的速度。
●Seven days active user 七日用户活跃:产品指标,反应网站的实际运营情况,用于估计产品的用户规模。
●Earning 收益:商业指标,电商类更关注 GMV 等指标,视频业务关注广告,VIP 售卖等。

PULSE 模型的 5 个度量维度

商业收益

技术侧的用户体验

产品的用户忠诚度

周活用户

运行时间

延迟

页面浏览

收益

Uptime

Earnings

PageViews

Latency

Seven-day

ActiveUsErs

传统的网站衡量指标, 基于商业和技术评产品, 应用于跟踪产品的整体表现

【设计度量衡方法】体验设计度量,看这一篇就够了(上篇) - 图6

PULSE 模型是传统的网站衡量指标,从技术、用户忠诚度、商业收益来追逐产品的整体表现,无法直接通过模型去观测到用户体验是怎么样的。

HEART 模型 - 以用户为中心的体验度量模型
HEART 模型由 Google 于 2010 年发表于,是以用户为中心的度量模型。HEART 模型的出发点是做以用户为中心的,能够用于大范围的用户体验度量方法。虽然是为了网页端而设计,但是到今天来看,HEART 模型仍旧可以来指导移动端的体验度量。Measuring the User Experience on a LargeScale:User-Centered Metrics for WebApplications》提出,是以用户为中心的度量模型。

HEART 模型也有 5 个维度:
●Happiness 愉悦度:用户主观体验,用户觉得产品对其有帮助,容易操作,使用产品或者功能时总感到愉悦。
●Engagement 参与度:用户对产品内容感兴趣并愿意经常使用。
●Adoption:用户看到新产品或新功能愿意进行使用。
●Rentention:在一个时间内用户愿意回来继续使用产品或者功能。
●Task Success:用户能够高效,准确地完成任务。

HEART 模型的 5 个度量维度

CHI 态度!

[行为]

GoogLe 新增维度

CHI

接受度

留存率

愉悦度

任务完成度

参与度

Happiness

TASKSuccess

Adoption

Engagement

Retention

工作经验 + 创建和跟踪以用户为中心的指标产品 + 历史沉淀的用户研究

【设计度量衡方法】体验设计度量,看这一篇就够了(上篇) - 图7

HEART 模型是一个构建完善的用户体验度量模型,涵盖了用户主客观数据,以及可用性指标。如果想要构建一套自己的度量模型,需要先从 HEART 模型入手,理解用户体验度量的维度和指标,再看哪些适合自己业务特性。

GSM 模型
「无论一个度量标准多么以用户为中心,它都不太可能在实践中有用,除非它明确地与一个目标相关,并且可以用来跟踪进展」——from Google UX team

为了将度量标准应用于实践,Google 的 UX 团队提出了 GSM 模型。G 是 Goal,S 是 Signal,M 是 Metric,是遵从「目标 - 信号 - 指标」的过程来定义数据指标的方法。

GSM 模型

遵从目标 - 信号 - 指标的过程定义数据指标

信号

目标

指标

SIGNAL

GOAL

METRIC

【设计度量衡方法】体验设计度量,看这一篇就够了(上篇) - 图8

HEART+GSM
「通过明确团队的产品目标,识别成果或失败的适当信号(signal),然后度量来自这些信号的指标,产品团队可以一致地,有效的评估用户体验并做出决策」—— from Google UX team

GSM 模型和 HEART 模型相结合,构建出了完整的用户体验评估模型。从模型中,可以看出每一个度量维度相关的目标,信号,和衡量的指标,以及拿到这些衡量指标的评估方法。因此,模型的落地应用和目标的拆解密不可分。

HEART+GSM 模型构建了有效和全面的进行用户体验度量的基础方法论。如果想要构建一套自己的度量模型,需要先从 HEART 模型入手,理解用户体验度量的维度和指标,再基于 GSM 明确模型应用的方向。

ISO 国际标准研究

HEART&GSM 模型结合

评估方法

维度

指标 Metric

目标 Goal

信号 Signal

满意度调研间卷

满意度? NPS, 易用

满意度高

用户觉得产品对其有帮助, 容

愉悦度

系统可用性量表 (sUS)

产品评分给与 5 星好评

性, 转发分享比例

易操作, 使用产品或者功能时

产品评分机制

总威到愉悦

愿意推荐给别人

HaPPiess

数据埋点分析

一段时间内多次访间产

平均用户的每周的访问

数据理点分析

用户对产品内容威兴想并愿意

参与度

品或者使用某个功能

经常使用

频次. 7 天活跃用户数

Engagement

页面浏览量产品访问

数据埋点分析

用户看到新产品或新功能愿意

新产品或新功能访问量高

接收度

量, 点击率, 注册率,

愿意注册

进行使用

嗯意使用新功能

下载量

ADOptIon

数据埋点分析

次日留存率, 第 7 日雷

活跃度高

在一个时间内用户感意回来继

留存率

流失事低

存事, 第 30 日留存事

续使用产品或者功能

用户流失事

RETention

用户能够高效准确地完成任务

系统可用性量

顺利完成任务

任务完成时间, 已完成

任务完成度

放弃任务

任务的百分比, 操作镇

表 (SUS)

完成任务的时间越来越短

数据埋点分析

误率, 页面跌出率

TaSKSUCcesS

操作时出错率越来越低

【设计度量衡方法】体验设计度量,看这一篇就够了(上篇) - 图9

ISO-9126 软件质量模型
ISO/IEC 9126 (1991) 软件质量模型是评价软件质量的国际标准。标准从产品,技术,设计 3 个方面,6 个维度来评价软件质量。在设计方面,主要涉及的维度有「可移植性 Portability」中的「适应性」和「易安装性」,以及「易用性 Usability」中的「易理解」「易学」「易操作」「一致性」。其中,「易用性」的概念涵盖了用户体验中常规易用性的维度。「Usability」的衡量维度有着很大的借鉴价值,可以理解为「可用性」的概念拆分

ISO-9126 软件产品评价质量特性及其使用指南

设计

技术

软件质量评估模型

效率

可移植性

功能性

质量属性

维护性

可靠性

易用性

质量子特性

时间特性

适合性

易分析性

易理解性

成慕性

活应性

资源利用性

易改变性

易学性

容错性

安装性

准确性

稳定性

易恢复性

共存性

互操作性

易操作性

易替换性

吸引性

安全保密性

易测试性

可移植性的依从性

功能性的依从性

效事的依从性

可靠性的依从性

易用性的依从性

维护性的依从性

【设计度量衡方法】体验设计度量,看这一篇就够了(上篇) - 图10

ISO-9241-11 Usability 可用性的定义
ISO9241-11 (1998) 从用户角度出定义什么是「可用性 Usability」。可用性的定义为一个产品可以被特定用户,在特定场景下,达成特定目标的效率,效率和满意度。衡量可用性的三个维度为「效益」「效率」「满意度」,相比 9126 的评估维度,增加了「满意度」的主观评价。
●效益(effectiveness):用户完成任务的精确性和完整性。
●效率(efficiency):用户完成任务所消耗的资源。
●满意度(satisfaction):用户对任务流程的可接受程度。

ISO9241 对 Usablity 的定义在今日的设计质量评估仍旧有很强的指导性和应用性。和 ISO9126 相比较,ISO9241 的对可用性的定义距离可用性的评估落地更进一步,具备很强的可操作性。在衡量完成特定任务的过程中,用「效率」和「效益」,一般为任务完成程度和所消耗的时间 / 人力即可评估出特定任务的可用性,在流程较长的 B 端产品体验度量中尤为常用。

主观指标研究:用户体验三大行业指标的对比

用户体验三大主观指标

费力度

净推荐值

满意度

CES|2010

NPS|2003

CSAT1965

1965 年 Cardozo 发表于

2003 年引入网络推广

2010 年引入一种不同的度量方法:

RAnEXperimentalSTudyOf

有 CEB 开发的客户努力评分 (CES)

CusToMerEFFORTExPCTATIONAND

CEB 国一家商业调研和分析公司

SatisfactionJ

短期内衡量用户完成任务

短期内衡量用户幸福感的

长期内衡量用户幸福感的

用户得分, 即客户忠诚度

用户得分

的难易层度

受访者必须在 1-5 层次之间表达对

与 CSAT 相比, 是一个更好预测用户

另一种角度: 服务主要是减少客户努

行为的指标, 并且与公司成长的衡量

某一话题或内容的满意度

力 - 帮助他们轻松解决问题, 而不是通

过服务互动中取悦用户来创造忠诚度

指标有很强的相关性

【设计度量衡方法】体验设计度量,看这一篇就够了(上篇) - 图11

满意度 CSAT
Study of Customer Satisfation,即「满意度」于 1965 年提出,其后被广泛应用于衡量产品的用户主观感受。满意度的适用性非常高,可以用于询问用户各种问题,可以看整体的产品体验满意度,也可以看具体的某个功能的满意度。满意度能够体现出用户对产品短期内的幸福感。满意度的缺陷是无法体现用户对产品的长期态度。

净推荐值 NPS
Net Promoter Score,即「净推荐值」于 2003 年被提出,是一种计量某个客户将会向其他人推荐某个企业或服务可能性的指数。NPS 被用于衡量目用户长期的幸福感,广泛用于互联网产品来衡量用户忠诚度。

费力度 CES
Customer Effort Score,即「费力度」于 2010 年提出,是基于满意度无法客观体现用户忠诚度的研究所提出的。费力度通过询问用户产品是否容易处理用户的问题,来发现用户对产品最真实的评价和用户的痛点,从而解决用户关注的问题以提升用户忠诚度。目前,费力度已经在国内的部分 B 端产品中得到落地应用,用于帮助设计师发现和解决复杂流程中的问题。

NPS 和 CES

提供

指出

NPS

CES

总体

处理客户

客户费力度

净推荐值

问题上的表现

满意度图

比较 NPS 和 CES 的分数时, 研究表明这些分数是相互关联的

其中需要付出很少努力来解决问题的客户, 也倾向于给出较高的 NPS

【设计度量衡方法】体验设计度量,看这一篇就够了(上篇) - 图12

阿里集团已有模型研究
支付宝 PTECH 模型
支付宝 UED 团队
提供以用户为中心的 UBA(用户行为分析)+ APM(应用性能监测)闭环下的体验洞察,让产品体验可量化、可优化、可监控。可以看到 PTECH 是基于 HEART 模型来构建,但是也基于自身业务特性做出了优化,例如:
1NPS 改为用户主观满意度:NPS 对 C 类产品是一个很有效的指标,对于企业级中后台来说,往往由于企业产品的封闭内环、用户基数等众多原因,可能还是满意度来的更加有效。
2 不强调留存率:企业级产品用户往往没有太多的可选余地,因此留存率未必适合用来衡量用户对于产品的喜好。
3 参与度和接受度指标合并:对于企业级中后台系统,用户使用的目标性更强,TA 就是来完成某个任务或完成工作的,因此活跃度基本和产品能否满足用户的需求强相关。

支付宝 PTECH 模型

性能体验

任务体验

清晰度

参与度

满意度

TASKSuccess

Clarity

Performance

Engagement

Happiness

以用户为中心的 UBA(拥户行为分析 + APM(应用性能监下的体验 + 蚂蚁企业级产品现状与特征

【设计度量衡方法】体验设计度量,看这一篇就够了(上篇) - 图13

阿里云 UES 模型
UES(User Experience System)是阿里云设计中心通过多年设计实践中沉淀下来的云产品使用体验度量系统,阿里云的体验度量模型是从达成阿里云平台产品的设计体验「一致性」为目的所诞生,在之后的发展中又增加了「易用性」、「任务效率」、产品的「满意度」,技术的「性能」,在设计、产品、技术各团队对体验度量模型的认可度上,以及实际应用上,都是做的最为落地的。UES 不仅是一套方法论,更是一套可运行的体系。目前,UES 模型已经产品化,并能够为集团内其他 BG 所应用。

阿里云 UES 模型

性能

一致性

满意度

任务效率

易用性

TASKSUCCESs

Easeofuse

Performance

Consistency

HaPpiness

解决上百个产品的体验一致性问题: 易用性是 B 端产品的属性

【设计度量衡方法】体验设计度量,看这一篇就够了(上篇) - 图14

1688 五度模型
五度模型是阿里巴巴 1688UED 团队在 Google 的 HEART 模型的基础上,结合国内互联网的特点,加上多年的设计经验总结出来的。五度模型是按照用户使用产品的整个生命周期过程来组织的,从用户的行为与态度和当下与未来这两个维度进行分解,五度分别为吸引度、完成度、满意度、忠诚度和推荐度。相比阿里云和支付宝的模型较为适合 B 端产品,五度模型的应用场景更加适合 C 端产品。

1688 五度模型

满意度

态度

推荐度

吸引度

传播

推荐新用户

行动

威知

触达

现在

未来

自流量新用户

暂存老用户

回访

完成度

忠诚度

行为

设计经验

HEART 模型

ABCD 模型

AIDA 模型

【设计度量衡方法】体验设计度量,看这一篇就够了(上篇) - 图15

过往研究带给我们的洞察
通过设计维度 + 设计目标的交叉来建立设计价值和业务价值的关联性
经过我们的对比研究,设计质量模型的构建方法就是用 “HEART + 业务特色” 来建立的。通过加入 GSM 模型,通过业务目标拆解设计目标,则可以让设计价值和业务价值建立连接,具体如何拆解设计目标我们将在下一篇文章 “定目标” 里详细阐述。

PULSE 模型业务 + 技术度量

延迟

页面流览量

7 日活跃用户

正常运行时间

收当

LATENCY

PAGENIEWS

EARNINGS

SEVEN-DAYSACTIVEUSERS

UPTIME

扩展用户体验度量

HEART 模型用过户态度 + 行为度量

GSM 模型

愉悦度

接受度

任务完成度

参与度

留存率

TASKSUCCCESS

ENGAGEMENT

ADOPTION

HAPPINESS

RETENTION

指标

目标

信号

扩展用户体验度量

METRIC

SIGNAL

GOAL

一致性, 易用性导向, 性能为辅

清晰度导向, 性能为辅

用户消费行为路怪 & 用户使用产品生命周期

专家造堂用户反馈同题较多

更多来源于 1688 业务特妖广青转化和督存相关)

用户反馈同耀较多

GSM 价值在于以不同维度为基础, 各团队可以通过

GSM 一致地, 有效地评估 Ux 并做出决策

UES 模型 TOB

五度模型 TOC

PTECH 模型 TOB

吸引度

一致性

易用性

完成度

任务体验

性能体验

Consistency

EaStofUSO

Pertormance

TASKSUcCESS

满意度

满意度

清晰度

参与度

忠诚度

任务效率

Happiness

TasK

Engagement

Clarity

性能

清意度

推荐度

Pertormance

Happiness

【设计度量衡方法】体验设计度量,看这一篇就够了(上篇) - 图16

影响产品用户体验度量的关键因素
●产品类型:企业级产品(B 端产品)和消费级产品(C 端产品)可用的评估方法和维度有所不同,这也是由于其用户的类型和量级不同所导致的。
●功能类型:设计需要考量的维度也具有较强的共通性,例如任何功能类型都可以从易用性角度考察设计是否清晰,易读,高效。但是,如果某功能需要要用户完成一系列复杂的操作,则需要更多的去考量易用性。
●用户态度:用户对产品的主观感受,包括心智的认知和情感都可以作为衡量用户体验的维度。其中,NPS 是 C 端业务最为关注的用户忠诚度指标,如引入 NPS,可以将设计或者用户体验对 NPS 的影响也作为设计的目标考量。
●性能体验:产品的稳定、流畅性。例如开启速度、卡顿比率、崩溃率等技术性指标。

产品类型

用户态度

性能体验

功能类型

(心智 + 情感)

稳定性

企业级产品

用户视觉认知, 记忆认知

内容消费

消费型产品

高效管控

用户理解, 学习, 实践

流畅性

商业转化

用户量级

用户情感: 感到满意, 感到费力

用户增长

更多…

【设计度量衡方法】体验设计度量,看这一篇就够了(上篇) - 图17

构建用户体验评估模型
1 根据 C 和 B 业务拆分为用户、产品、技术 3 个部分的度量内容;其中 B 端依据产品的用户群分为对外产品和对内产品,对外产品的维度和 C 端产品更类似。
2 通过 GSM 模型推导设计指标。
3 度量方法和指标。

优酷 C&B 端用户体验评估框架

基于产品类型. 分为用户? 产品和

品和技术三个维度看具体度量维度

基于维度通过 GSM 推导指标

基于新老产品探索效果对比标准

认知: 马理解, 马横作, 清晰马学性筹

用户

行为: 任务效车

维度

自己跟自己结合比

情区: 海意推荐? 灵力? 忠诚

TOC

满意度和费力度结合

高效管控关煌康用户增长美维庆交易转化员

认知评分和任务效率结合

产品

维度, 内容浦费类维度等

德定性: 闸本开常, 德口祁常

技术

澳餐性: 延迟加椒性丽卡额动西清性

认知: 球解易祖作清调易学性等

目标

0-1

行为: 任务效事

用户

直接竞对比较

NPS, 满意度和竞品对比

请盛: 满意, 推养, 树力忠诚

公司

外邮

高效管控. 用户增长交品转化内容润费

产品

德定性: 啤本异常, 接口异常

技术

信号

间接竞对比较

浙性: 压这, 加址性筋卡钢. 动面液畅性

TOB

和已有竞品的标准对比

认知: 理解, 播作, 清晰学性等

用户

行为: 任务效事

请应: 满重, 推荐, 贺力, 忠诚

公司

新版跟旧版比

内贸

1-N

高效管控

指标

同类标准前后对比

棉定性: 脾本异凉捷口开紫

技术

清畅性: 压迟加鼓性腩卡顿动面滚畅性

【设计度量衡方法】体验设计度量,看这一篇就够了(上篇) - 图18

我们已经有了用户体验模型的初步结构,也对产品进行了划分类型,初步划分了 C&B 端不同类型业务看的维度是什么,给出了用户体验度量的方法。但是对于设计层面仍缺乏更细节的指向性。因此,我们尝试从目前最关注的业务的核心目标上,进一步构建具有一定「业务指向性」的「设计」度量模型。

构建设计度量模型
基于不同的业务特性,每一个模型对维度的选择和侧重也不相同,阿里云、支付宝、1688 等的模型是具备自身业务特性的,因此不同的业务也需要仔细考量自身的业务特性是什么,才能建立对自己行之有效的设计评估模型。这方面,也需要通过盘点核心业务,用户诉求,再将业务目标拆解到设计目标来验证维度的构建是否合理。

建立设计度量维度和用户的关系
用户是如何通过产品的「设计」来达成目标的呢?设计能够帮助用户去更好的理解和使用产品。我们采用了「个体学习的 OADI 模型(Kofman,1992)」来建立用户和设计的关联性。个体的学习过程可描述为 “见-解-思-行” 的循环,简称 OADI 循环。
●「见 Observe」 是看到,是从外界或者经历中取得信息,在设计层面可以对应为「吸引性」。
●「解 Assess」是理解,是对得到的素材进行解释、评估,加以理解,在设计层面可以对应为「易理解性」。
●「思 Design」是吸收,是对理解的信息进行分析重构,在设计层面可以对应为「易用性」。
●「行 Implement」是行动,是基于信息进行行动,在设计层面可以对应为行动的质量,即为「任务效率」。

以用户]为中心的设计度量

视觉认知

分析学习

付诸实践

理解思考

易理解性

易用性

用户心智

吸引性

任务效率

(认知 + 行动)

用户

任务完成度

布局, 文案, 信息

易学性

颜色

易操作

文字

的表意清晰

任务完成时长

态度

易用性的依从性

人效

动态效果

长期

短期

费力度

满意度

忠诚度

推荐度

用户情威

用户次日雷存率

单任务 CSAT

羊任务 CES

NPS

用户 7 日雷存率

分享 / 转发的比饼

总体 CES

总体 CSAT

单用户 7 日访问颜次

总用户累计 7 日访间锈次

个体学习的 OADI 循环 (Kofman,1992)

【设计度量衡方法】体验设计度量,看这一篇就够了(上篇) - 图19

建立设计度量维度和业务目标的关系
产品是如何通过「设计」来达成目标的呢?设计要帮助产品达成业务目标,那么设计就需要从产品的目标去找到设计发力点。我们总结了一套「明确产品诉求 - 明确产品评估指标 - 设计目标推导 - 建立设计目标和设计维度的关联」的方法,来建立产品目标到设计目标和衡量维度到关联。

以业务为目标的设计目标

产品目标是什么

指标街量

产品诉求是什么

设计目标是什么

7 根据模型明确设计指标

明确设计目标

明确产品目标

明确功能类型

明确产品类型

消费级产品

设计价值度量

内容类

WTS

公式拆解

企业级产品 (公司外部)

心智路修推导

完成度, 时间

高效管控类

企业级产品 (公司内部)

GMV

转化渴斗分析

商业类

用户增长类

NU 雷存, 活跃

更多

更多

更多

明确设计目标是建立为产品和设计度量相关性关键点

【设计度量衡方法】体验设计度量,看这一篇就够了(上篇) - 图20

初步构建设计质量评估模型

设计大目标

某链路

度量维度

子目标 GOALS

现象 SIGNAL

指标 METRIC

餐色

卵吸引用户的注座. 引起用户进一步楼作的

吸引性

CTR 亟引性评分

布局

用户发理了元素. 并引发了点击

欲堂

动态效果

爱清新准且要易祥使用户炖够快德理解任务

易理解性

用户快纯和正朔的理解和操作了

用户主观清新座谭分

易用性

号学性

功能易于操作, 好上手, 且相同摆作在不同场景下保

用户主观易用性评分

让用户不理解不明确的信息减少

易播作

持一玲

单用户完成任务的点击次微

用户播作的梦鼓楠翅了

任务完成鹰

用户播作的时长更短了

单用户完成任务的播作时长

任务效率

任务完成时长

用户能等成功完或任务的同时效事提升

首次参与任务的成功事

完成任务的用户教更多了

馈出事

页面瑞出牢

最停放弃了

单氏务 CSAT

单任务下用户的满意度摆升

满意度

用户演意度提高了

浦意度评分

整体产品的涛息度提升

总体 CSAT

单任务下用户的舞力度警低

单任务 CES

费力度

用户费力魔降低了

员力蜜评分

总体 CES

全链路的费力度讲题

届意分享产品功能

NPS

分享事

推荐度

意分享产品功能

分享 / 转发的比例

婚过链痕进入的 Uv 占比

更多人妈过分享链掺进入

用户文日嘴存事

用户女日霸存率

用户 7 日雷存事

更多的用户圈防

用户 7 日瓶存率

忠诚度

增强用户站性

韩用户 7 日防问频次

单用户访问的顿次增加

单用户 7 日访问频次

总用户家计 7 日访间频次

总用户家计 7 日访问频次

【设计度量衡方法】体验设计度量,看这一篇就够了(上篇) - 图21

模型使用和反馈收集
设计师使用模型的主要难点:
1 模型的维度较多,不同的项目应该重点看哪个维度?
2 视觉和交互链路重合,但是对于视觉设计师和交互设计师而言,看的维度是否有侧重?
3 设计目标的拆解应该如何进行?

构建具有业务特性的设计度量模型
为了降低设计师的使用成本,设计团队基于不同的功能或场景抽象出优先考虑的度量维度,以更快速的给设计师指出方向。

进一步明确优酷视频业务 C&B 端的产品特性
C 端视频分发和消费场业务核心目标为「分发」、「消费」、「互动」。B 端产品的核心目标为「任务效率」,具体场景为多角色的多步骤任务,以及信息图表的浏览和决策。通过目标拆解方法,汇总用户消费和互动的核心链路上的设计发力点,再次汇总设计维度。

优酷 C&B 端核心产品类型

主观吸引度, 入口点击事, 点击个数

吸引度

有想浏览和点击的饮望

分发型

任务效事

快速查找浏览决策是香消费视频

洗出事. 页面停留时长

对浏览和查找的过程威到满意

满意度评分

满意度

业务目标: 渗透率, 留存

忠诚度

次日 / 7 日留存

感意继续使用产品

TOC

主观吸引度, 入口点击率, 互动率

吸引度

有想浏览和点击的欲堂

互动型

满意度评分

对浏览和查找的过程威到满意

满意度

业务目标: 互动率, 留存

次日 / 7 日留存

感意继续使用产品

忠诚度

任务效牢

有想浏览和点击的欲堂

主观吸引度, 入口点击率, 点击个数

任务型

TOB

满意度

能够快速查找. 浏宽决簧是否消费视频

跳出率, 页面停留时长

业务目标: 互动率, 留存

对浏览和查找的过程威到满意

满意度评分

费力度

【设计度量衡方法】体验设计度量,看这一篇就够了(上篇) - 图22

明确设计维度和用户主观态度的关系
明确设计各维度之间的关系,主要是为了进一步挖掘设计维度和 NPS、忠诚度的关联性。

设计评估维度和用户主观评估维度的关系

体验

情感

行为

微观: 发现设计间默

宏观: 专注于业务价值

宏观: 锁定问题范围

过程

丝果

强相关

正负相关

强相关

部分反馈

因果关系

忠诚度

满意度

费力度

推荐度

易用性

任务效率

单任务 CES

吸引性

NPS

用户次日雷存率

单任务 CSAT

任务完成度

总体 CES

分享 / 转发的比例

用户 7 日留存率

任务完成时长

易理解性

总体 CSAT

挑出率

单用户 7 日访问频次

易学性

易操作

总用户累计 7 日访问频次

规范一致性

【设计度量衡方法】体验设计度量,看这一篇就够了(上篇) - 图23

重构通用模型
通用模型为各业务、产品都会涉及到的设计通用维度,更专注于设计本身的维度度量。任何功能类型都可以从基础体验和完成度角度考察设计是否吸引、清晰、易读、高效。将满意度和费力度合并在一个类别下中,作为用户主观态度维度。另外,新增了品牌性和创新性,激励设计师在这两个专业方向上进行探索。在模型的自构建上可以有一定的自定义维度,来满足当前业务的设计指向性上的需求。

DES 优酷设计质量通用评估模型

基础体验

USABILTY

品牌胶

创新性

满意度

完成度

基础体验

望腐

Ercangy

lhovaton

Sntistaction

Uaibioy

Brnd

品牌威

完成度

BRAND

EFFICIENCY

复用性

疆引性评分

单任秀 CSAT

吴效果

0 国址

清睁性评分

CES 评分

密量

制享评分

易学性评分

品路认常富

DES

标准

专利申请器

植衣任务完成事

产品整 CSAT

品捌养性评分

任务完成时长

CES 泽分

枝性评分

商出率

满意度

创新性

INNOVATION

SATISFACTION

定量 / 主观

定量 / 主观

定性 / 主观

定量

定量 / 主观

度量

嘉用性雷量

方法

周户行为盟控

调话间着

调研凡看

专家诈结

可拓展维度

一楼性度量

【设计度量衡方法】体验设计度量,看这一篇就够了(上篇) - 图24

针对各业务的设计团队制定具备指向性的模型
针对各业务的设计团队制定具备指向性的模型。我们基于目前优酷业务的主要 3 类产品「B 端平台」、「长视频消费端」、「短视频消费端」来构建模型。各业务选择了当前业务最关注的维度构建了自己的模型。

C&B 设计质量度量 (V2.0)

B 端平台

C 端平台

C 端垂类

同内容分发, 互动相关

同开箱, 快看心智相关

同 PUGC 成长相关

任务效率

任务效率

新颖性

一致性

品牌

吸引力

吸引力

一致性

吸引力

(多端 - 致性)

认知度

清晰性

清晰性

清晰性

清晰性

清晰性

授引力

一致性

新顾性

吸引力

任务效率

清晰性

任务效率

致性

吸引力

品球认知虚

维度

超养传用率 1

CTR

cTR

新鞋盛知详分

CrR

从美重详分

播棕

消新性译分

清果性泽分

清师选泽分

超件使用事

迪计精鸭的

任务定速置

塑引性师分

疆引性评会

我引性师分

创新专利员

第坊 7

住务完成理营

AEMNHEA

AE 特为监司

住用事窗

A 钙为 E 测

网莓调饼

瓦丹方盗

ETEST 别性

使用事赁裤?

工具

用产玥阳造别 K

阿基调饼

民得为五测

ETEST 泰周性

阿季调哥

间香调桥

专利漾鞋 & 量

专家评结

同香调语

评分同看调型

同布调训

专富评结

人紫旗算

评分

【设计度量衡方法】体验设计度量,看这一篇就够了(上篇) - 图25

总结
模型构建
基于 HEART 和 GSM 的模型构建方法已较为完善,各设计团队在研究之后可以构建能够指导自己团队的设计质量度量模型。
1 设计维度的选择从自己业务的核心场景和目标来推导。需要通过核心业务的场景或路径明确达成目标的用户关键使用路径,判断哪些维度能够影响到业务指标和用户关键路径上的指标,将这些指标选择出来作为核心维度。
2 设计的度量需要考虑主观和客观数据,用户主观态度和数据指标需兼顾才能全面的对设计进行度量。

注意事项
1 设计质量度量模型是一种指方向的方法,需和设计目标结合起来使用,用于指导设计师在具体设计中所关注的维度和发力点。
2 设计质量度量模型为设计指出了大的方向,但是具体落地还有赖于基于具体的业务场景去选取其中的部分方法来应用。
3 设计质量度量模型的衡量维度在一个阶段内不宜过多,用于集中设计师的目光去完善自身的设计,但是对于部分场景或者任务可增加一些辅助的维度用于全面的度量设计质量。

YOUKU

第二篇

第三篇

第一篇

如何更量化的体现设计价值

如何构建设计质量评估模型

如何拆解设计目标

【设计度量衡方法】体验设计度量,看这一篇就够了(上篇) - 图26

部分参考文献
12010 ACM, Measuring the User Experience on a LargeScale:User-Centered Metrics for WebApplications
2ISO/IEC 9126:1991, Software enginnering — Product quality, https://www.iso.org/standard/16722.html
3ISO 9241-11:1998, Ergonomic requirements for office work with visual display terminals (VDTs) — Part 11: Guidance on usability, https://www.iso.org/standard/16883.html
42003, The One Number You Need to Grow, https://www.netpromoter.com
5《U 一点 · 料:阿里巴巴 1688UED 体验设计践行之路》
6 产品使用体验如何量化与管理—阿里云 UES 揭秘 https://mp.weixin.qq.com/s/9LJXsdXL54BzyuKcMjo8KA
72019 SEE CONF 蚂蚁金服体验科技大会

关注作者和知识库后续更新

【设计度量衡方法】体验设计度量,看这一篇就够了(上篇) - 图27

大厂项目复盘

收集各大厂项目复盘文章,仅做资源学习使用,版权归各大厂所有

推荐阅读

阿里|阿里本地生活 - 蜂鸟配送项目复盘(一)

原文链接:https://www.zcool.com.cn/article/ZMTE5MDgzMg==.html 这是之前在阿里本地生活,关于蜂鸟配送新物流体系的项目,今年抽空整理了下,目前这是第 1 部分,第 2 部分下期 UI 类目会和大家分享。蜂鸟即配是属于阿里巴巴的新零售物流体系内的,专注于即时配送...

美团|智慧交通车型体系设计

原文链接:https://www.zcool.com.cn/work/ZNTQzNjE1MTI=.html 原本是在美团智慧交通工作中的自驱项目,用 C4D 做运营和产品需要的车型,后来完善后得以在产品上应用;文中大多数产品 UI 界面皆为个人设计爱好所做,仅作为展示车型之用;作品尚不成熟,且多为创意过...

12306|用户体验地图如何落地——12306 购票体验升级

原文链接:https://www.zcool.com.cn/article/ZMTIzNjA4NA==.html 万字长文,手把手教学,看干货可以直飞第三章。我们在工作中打磨出用户体验地图的方法论,任何不懂的地方欢迎评论和私聊。用户的体验感对于一个产品来说,是至关重要的。一个好的产品能够充分照顾...
https://www.yuque.com/weijin_is_wiki/ykf0s9/gg742d