远程定性测试/Remote Usability Test

在产品的设计和构建过程中，为了确保产品的可用性，帮助实现用户的真实需求，设计团队往往会对产品进行多伦用户/专家测试。测试类型很多，有定量测试和定性测试，也有远程和面对面测试。这次想要分享的是，如何准备一场远程的定性观察测试。

确定测试目标

所有的测试一开始，就应该考虑到围绕一个或者几个核心目标进行，做到心中有数而不至于在执行过程中太过宽泛偏离。举个例子，如果测试目标是判别核心页面的易操作性和完成任务的高效性，可以先提前设定几个测试问题：测试者在哪些页面停留时间最久？每个页面分别是多长时间？哪些步骤花费的时间较长？操作者对于平台现有的工作流程和步骤是否清晰？操作快者和慢者的区别在哪里？原因是什么…需要注意的是，这些并不是需要在测试时真实提出的问题，而是测试主持者需要记忆并在测试中注意观察的目标。

确定测试参与对象

选择合适的参与对象是成功收集到有效信息的关键。一般而言，主持者需要根据刻画好的人物角色图（persona）像符合要求的参与者发出邀请，同时要注意筛选并去除极端个例，识别参与者的意图，并避免邀请对于行业非常了解的专家作为测试参与者。如果测试的内容是为了提升和优化现有软件，则不建议邀请对于软件太过熟悉的用户，而去邀请哪些刚刚开始接触和使用产品的新用户。另外考虑到有的软件平台有不同的角色（role），还需要分别对不同的角色进行邀请并分别制定相关的测试目标。根据Nilsen 研究，每个角色挑选5名参与者就可以发现80%以上的问题。

确定测试类型

由于测试目标，测试预算，法规风险，参与者条件等情况的不同，需要选择不同类型的测试方法。以下是几种常见的测试类型：

1. 探索型测试：

适用阶段：早期设计和草图规划阶段
具体方法：设计师为用户/专家分别展示产品的线框图或者低保真原型，并观察他们的反应，收集反馈，验证和推敲最初的设想。
测试目标：旨在了解和验证用户对于产品概念和设计提案的理解，以及他们面对产品的时候心理变化的历程。

2. 评估型测试：

适用阶段：适合于原型测试阶段
具体方法：通过向用户/专家展示可交互的高保真原型图或者代码实现的初步产品原型，追踪用户的实际反馈和出错状况。
测试目标：评估APP和网站设计的有效性，以及用户对于产品的满意度。实时的测试有助于追踪用户的实际反馈和出错状况，搜集起来的信息能用来消除已经发现的可用性的问题。

3. 比较型测试：

适用阶段：适合于产品迭代阶段
具体方法：这种一般是团队内部进行，帮助决策。当设计师需要在几种不同的设计方案之间作出选择的时候，就可以采用比较性测试来评估，然后和创意团队分享数据，作出决策。让专家来评判各种方案之间的差异和优缺点，或者通过组织用户进行A/B测试，或者通过埋点技术提供用户的触摸热力图，产品体验路径，产品基础数据分析等，帮助设计师选择最适合的方案。
测试目标：帮助存在争议的设计方案进行有效决策

4. 校验型测试：

适用阶段：适合于原产品发布后的验收阶段
具体方法：通过实行pilot 用户观察和组织使用测试，同时通过埋点收集相关数据指标，监测产品的实际使用状况。
测试目标：评估设计在真实场景下的可用性，以便验证：1. 设计目标是否达成？ 2.产品体验是否良好，是否符合用户期待？3. 同时发现更多潜在可以优化的点，进一步改进产品。

准备测试细节

1. 确定测试时间：

一般远程测试时间不宜超过30分钟，以15-30分钟包含3-5个任务为宜，为免用户失去耐心而放弃。

2. 选择远程工具：

需要共享屏幕和记录操作屏幕的工具，如webx，zoom等。我们进行远程可用性测试需要的信息，主要有四点：① 实时屏幕转播；②实时语音（视频更好）；③用户触摸位置；④屏幕录制和语音

3. 细化步骤问题：

(以下为样例内容，供参考)

1. 介绍自己的基本工作内容，以及邀请他们来参加这次会议的目的。询问这次会议内容是否可以录音/录屏并介绍数据收集之后的用途；
2. 情境（背景破冰）问题：方便和我介绍一下你日常主要的工作内容吗？一般在什么情况下会使用这个平台呢？
3. 任务问题：方便分享屏幕和我演示一下日常是如何借助这个平台进行工作的吗？
   1. 一般会需要用平台完成哪些任务呢？这些任务的操作频率怎么样？一般会花多久的时间完成呢？
   2. 有哪些日常平台目前不能帮助完成的任务吗？
   3. 哪个是你觉得最重要、花费时间最长的任务/页面？有哪些你非常在意的或者觉得重要的元素？
4. 体验问题：你觉得这个平台用起来怎么样？有什么用的喜欢或者不喜欢的地方吗？（如果用户不知道该如何操作，不要告诉用户答案而是询问用户他们觉得应该怎么做）
5. 提供一个简单的总体反馈问卷（可选）
6. 告知后续的操作，并感谢参与者

4. 内部预测试

为了确保测试流程周全详尽，避免由于考虑不周浪费不必要的时间，建议先召集内部同事或者亲人朋友进行一到两次预测试，保障正式测试的流畅和顺利进行。

5.发送测试邀请并等待回复

执行测试

一般会采用半开放式的测试方式，在根据测试脚本询问的同时，也保持开放和探究的态度和用户针对产品进行交流。
而用户则在完成测试任务的同时，需要不断鼓励用户讲述自己的见解和意见。对于不确定的内容，可以陈述自己的理解并向用户确认。观察用户的语音语调和肢体语言，探查用户的情绪，了解用户对于哪些功能满意/不满意。等测试结束后，可以凭借对于用户的情绪观察为不同的页面/任务流程绘制一份用户情感地图。需要注意的是，尽量有两个以上观察者参与。一个可以主持和引导整个测试环节，另外一个人则负责全程记录。一方面是因为如果同时兼顾主持测试环节以及记录，可能会导致无法完整详细的记录所有关键信息；另一方面对于同一现象不同的人也会有不同的观点，同伴的记录可以帮助在事后总结的时候以更加全面的方式思考问题。

总结测试内容并提供建议报告

需要如实记录下用户在测试中的行为，想法和感受，并根据可用性的几大原则：可学习型，满意度，效率，可记忆性和错误发生率来评估产品的可用性，并针对性地给出设计建议。
(以下为样例模板，供参考)