参考
全面解析 | 如何做好产品可用性测试?
https://www.sohu.com/a/331572125_120047492
Monkey(猴子测试)
https://blog.csdn.net/wang3289696/article/details/109168780
可用性测试(usability testing)
通过用户的使用来评估产品,反应了用户的真实使用体验。
让用户使用产品的原型或成品。通过观察、记录用户的感受和体验,找到产品中存在的问题,从而改善及提升产品可用性。
可用性测试适用于产品发展的各个阶段,包括前期设计开发阶段到后期优化改进阶段。
行动计划及操作步骤
第一阶段:做好测试前的准备工作
1. 制定时间规划
在项目开展前,需要确定项目的时间要求,制定合理的Timeline。即初步规划前期测试准备、中期测试开展及后期总结分析各个阶段所需要的时间,以便根据整体节奏及时做调整和安排。
2. 定义测试目标和范围
(1)确定需要测试的产品(服务)。以目标为导向,需要优先确定需要测试的产品是什么,希望验证什么样的结论或者预期。无论是开发测试期产品还是优化迭代期产品,要有出发点。
(2)确定产品测试范围。产品测试范围,包含想要测试的产品所涵盖的服务范围或全部功能。可根据实际的需求进行控制。
3. 定义目标用户
要对自己调研的用户有清晰的定位,即需要定义清楚测试的目标用户画像。
可以从以下两个方面对测试用户进行条件筛选:
- 用户基本特征(性别、年龄、所在地区、社会身份、收入水平、个人使用设备等)
-
4. 招募测试用户
招募测试用户,就要以定义的目标用户为标准来找。
大量的可用性测试实践证明,5名参与者即可发现75%以上的问题。希望通过增加参与者数量来发现更多的问题意义不大,所以我们基本选择5-7名参与较为合适。5. 选择测试任务
在可用性测试的具体实施阶段,需要我们根据测试需求设置相关的任务。思考用户在产品实际体验过程中可能存在的场景和需求,要求用户配合并完成相关的操作。
6. 拟写任务的测试脚本
当我们对任务有了具体的思考后,接下来需要对任务进行具体描述,以便更好地实施。一般情况下,我们要准备好完整的测试脚本并分给团队成员共同配合。常用的测试脚本包含以下内容:
可用性测试协议书
- 提问者大纲(包含测试前声明、基本信息提问、发声练习、正式测试任务、体验访谈等内容)
- 记录者大纲(依据提问者大纲同步整理,观察并记录用户完成任务的过程)
- 满意度问卷
Think Aloud http://www.woshipm.com/pd/77679.html 什么是think aloud Think aloud 是可用性测试中常用的一种方法,它是由IBM公司Clayton Lewis 在1982年在 《以任务为中心的界面设计》书中被阐述,同时引进到了可用性领域,1993年由前苹果研究院VP的Jakob Neilson在可用性工程这本书中再次推出。使用 Think aloud方法,需要提供给被测用户待测的产品或界面原型,要求被测用户根据指定任务操作产品或界面,与此同时,即时地说出使用产品界面时的想法、感受和意见。Think aloud适合在产品设计的任何阶段使用,并且适用于各种形式的产品原型,对于用户路径,界面信息构架,误操评估等有快速有效的校验作用。
7. 确定可用性测量维度
根据测试的目的需要我们进一步筛选测量维度,找到相关数据指标。我们通常会从定量和定性两个维度出发衡量任务的难易程度:
- 定量维度:任务完成时间、任务操作成功/出错次数、任务协助次数等
- 定性维度:用户对测试的整体评价及满意度情况等
此外还有其他维度的指标用于从更多的角度衡量整体设计流程及细节是否安排合理。
8. 准备测试物资
测试物资的筹备,需要我们打印相关材料,准备好测试使用的设备及场地。
可用性测试需要收集非常多的信息和数据以便后期总结分析,通常在实验室进行,可选择使用一些合适的辅助设备。实验室通常分为测试区和观察区:
- 测试区:主要是提供给调研者和参与者(用户)使用
- 观察区:则主要是提供给记录者、产品开发或其他相关成员使用
但一般情况下,测试场所可选择普通会议室、测试设备使用手机或电脑操作即可。
9. 组建测试团队
在一个测试项目中,需要有不同角色的人相互分工配合。通常设置项目经理、产品经理、观察记录员、项目助手、设备管理员等角色。但实际上安排以下两个角色也可以完成:
- 产品经理:主要负责与用户沟通、控制整体项目进度、拟写测试脚本、数据分析等
- 观察记录员:主要负责协助记录测试要点、招募用户、测试现场支持等
第二阶段:做好测试中的观察记录
1. 预测试环节
预测试环节主要是为了在正式测试开始前模拟真实的测试过程。
主要目的也是为了及时优化调整测试内容。除了检查全部脚本是否正确无误外,还要在测试时间控制和设备环境等方面进一步检查,看看是否存在什么问题,做好各类风险的初步预估。2. 正式测试环节
正式测试环节即可用性测试的具体实施阶段,主要可以按照以下几个步骤操作:
步骤一:接待用户
(1)用户来访签到。在招募好用户后,需要安排合适的时间邀请用户到指定地点测试。用户到达后需核对清楚用户信息并引导进入休息区等待测试的开始。
(2)发放可用性测试协议书。随后发给用户可用性测试协议书,让用户仔细阅读并签字,对本次调研做一个初步的了解。协议书主要是说明此次测试的目的、征求内容采集的权限、告知个人信息保密性及同步测试后可获得的奖励。
步骤二:测试实施
笔者总结出一些常规固定的流程模板,在测试实施阶段可以按照以下内容进行:
(1)测试前声明。在测试正式实施前,要对本次测试的背景和目的做一个声明。
(2)基本信息提问。该环节主要是为了缓解测试的紧张气氛,热场是用户和调研者之间相互熟悉的过程,以保证用户在测试过程中的放松和配合状态。可以选择做一些比较轻松的暖场聊天(如亲切的和用户聊聊今日装扮、近期出行计划等)。也可以对用户进行一个简单的提问(如年龄、爱好、职业、产品使用习惯等)。
(3)发声练习。在可用性测试过程中,往往会先要求用户进行Think Aloud。即在测试的过程中,让用户将心中所想口头表达出来。可以给用户一个简单的示例。
(4)正式测试任务。当用户利用发声思维法操作后没有问题,可安排进入正式测试任务。正式测试任务和发声练习一样,需要用户积极配合去完成,如果遇到问题也可随时提出。
正式测试的任务在实施过程中需要注意几点:
第一,任务解释需要清晰到位。每一项任务都需要用户理解透彻,知道这个任务具体是要做什么,才能顺利完成。不然盲目的操作也会影响测试结果,增加记录的复杂程度。
第二,任务节奏要良好掌控。根据脚本内容,让用户依照实际的任务要求操作,不要随意尝试,控制好测试的时间和节奏。提问者和记录者之间也要有较好的配合。
第三,任务内容较好把握。对任务的难易程度要有初步的评估,并给到心里预期,如果用户遇到了问题,在测试结束后要及时沟通,找到发生的原因。
(5)体验访谈。体验访谈的目的在于对测试做一个补充提问,包括任务外的其他测试需求。此外,对任务执行过程中遇到的问题也可以进一步沟通,定位发生的原因并做好记录。
步骤三:结束退场
(1)用户填写满意度问卷。测试结束后,需要邀请用户填写满意度问卷,对测试进行简单的评价,做好信息反馈与总结。
(2)核对测试收录的内容及信息。在用户离开前,需要确认是否所有任务都已完成,测试记录的相关信息是否都已完整收录,尽可能的避免出现任何的遗漏。第三阶段:做好测试后的总结分析
1. 信息整理
测试结束后,首先需要对测试结果进行数据处理与分析,及问题的归纳总结。
(1)数据分析。主要是依据行动计划中确定的可用性测量维度,从定性和定量的维度初步统计。通过任务的完成时间、任务操作成功/失败次数及协助次数等指标,评估任务的难易程度,从而进行调整优化。也可以对用户评价及满意度的反馈进行统计,方便后续工作的继续开展。
(2)问题归纳。可用性测试结束后,重点工作就是对用户反馈的问题进行归纳总结。主要是汇总整理全部访谈记录内容及归纳出一些主要的结论。通常我们可以先将任务做一个划分,再从用户体验反馈和优化建议两方面进行梳理,关注反馈频次并整理优先级。2. 结果总结与分析
结果总结与分析对调研而言至关重要。可用性测试报告框架可包含:
项目背景(可用性测试调研的背景及目的)、任务总览(用户完成每项任务的实际情况描述)、问题汇总(归纳测试过程中发现的问题)以及优化方案。此外,还可以再附录中添加用户的档案信息、对可用性测试的评价及满意度情况。方便其他参阅报告者更加清晰的了解到全部内容。3. 测试结果沟通与反馈
当我们完成测试后,除了汇报测试的结果,还需要与具体的需求方做进一步的沟通,从而给出具体的改进方案和后续规划。不是将结论或报告呈现在文档中,将所有资料归档就算结束,而是需要我们主动沟通,将可用性测试得出的诸多有效结论同步给相关负责人,主动驱动业务的发展。
Monkey测试
Monkey在英文里的含义是猴子,在测试行业的学名叫“猴子测试”,指的是没有测试经验的人甚至是根本不懂计算机的人(就像一只猴子),不需要知道程序的任何用户交互方面的知识,给他一个程序,他就会对他看到的任何界面进行操作,当然操作是无目的的、随便乱按乱点的,这种测试在产品周期的早期阶段会很有效,为用户节省了很多时间。
Monkey是Android中的一个命令行工具,可以运行在模拟器里或实际设备中。它向系统发送伪随机的用户事件流(如按键输入、触摸屏输入、手势输入等),实现对正在开发的应用程序进行压力测试。Monkey测试是一种为了测试软件的稳定性、健壮性的快速有效的方法。