定义
调查问卷是我们获取用户反馈的最佳方法之一,因为调查问卷可以远程完成,而且相比于其他研究方法来说,成本更加低廉。
常用的设计调研方法
正式的:
用户访谈(Interviews)
问卷调查(Surveys)
焦点小组(Focus groups)
日志研究(Diary Studies)
参与式设计(Participatory design)
任务分析(Task Analysis)
向导旅行(Guided Tour)
问题的形式
目录
如何设计有效的用户调查问卷
1. 为什么你需要一份调查问卷?
2. 确定目标
3. 设计问卷
4. 选择调查对象
5. 增加问题的趣味性
6. 重复提问
7. 调整问题排序
小结
UI 设计进阶 4-1:为何以及如何做设计调研?
什么是调研?
为什么要做调研?
最常用的设计调研方法
其他可能启发你的方法
焦点小组
总结
体验设计指南:问卷篇
1. 前言
2. 问卷设计前
3. 问题和答案的设计
4. 问卷发放
5. 问卷整理:数据清洗
6. 分析报告
7. 写在最后
一篇文章搞定问卷调研(上)
1.概述
2.适用场景
3.问卷编撰
一篇文章搞定问卷调研(下)
4.问卷发放渠道及回收形式
5.注意事项和规避方法
6.数据分析和结果说明
如何设计有效的用户调查问卷
如何设计有效的用户调查问卷
How to Design an Effective User Experience Questionnaire
谈起“用户体验”,“用户”自然是其中的重中之重。无论是准备发布全新的产品,还是进行版本迭代,如果不了解用户的诉求与预期,我们显然无法产出良好的产品设计。
调查问卷是我们获取用户反馈的最佳方法之一,因为调查问卷可以远程完成,而且相比于其他研究方法来说,成本更加低廉。
那么,应该如何设计一份能够帮助我们获取有效信息的问卷呢?在本文中,我将为各位提供一些关键环节的指导。
1. 为什么你需要一份调查问卷?
- 了解用户如何与你的产品进行互动。
- 获取有用的反馈。
- 评估用户对于产品的态度及满意度。
- 了解产品的可用性表现。
- 改进你的产品。
- 追踪数据变化。
2. 确定目标
缺失明确的目标,问卷调查将以失败告终;主要目标有且只能有一个。所以我们首先应该明白,调查问卷的根本目标是获取关于产品的有效信息反馈。背离了这一目标,所谓“问卷调查”将名不符实。3. 设计问卷
问卷当中通常包含三种类型的问题:多选题,评分题和问答题。多选题
选择题是最常用的问题形式。首先,多选题可以节约参与者的时间,提高他们填写问卷的积极性;其次,选择题做起来简单方便。但是你需要严格控制选项的数量,否则当参与者面对太多选项时,很可能会犹豫不决。
不过多选题也一个缺点,就是它会限制参与者的思维,以及对这些选项的深入思考。评分题
多数人喜欢通过打分来表达感受,因为人们可以从主观上进行更好的把控。将评分设定为1至5分,我们便可以了解用户对于产品的态度及满意度。问答题
问答题通常出现在问卷的结尾部分,譬如“你还有其他的建议和评价吗?” 虽然时常会被参与者选择性地忽视,但如果他们真的填写了问答题,那么这就是非常有价值的信息。你不需要在这里提一大堆问题,两个就够多了,否则用户回答问题的热情将会受到影响。
一份调查问卷通常需要整合运用以上三种问题形式,这会使问卷更具多样性,同时也更加有趣。这里有一些范例供参考:
https://www.interaction-design.org/literature/article/useful-survey-questions-for-user-feedback-surveys
4. 选择调查对象
接下来,你需要确定谁是你的目标用户,你需要把问卷发给谁来做。你可能需要知道他们的年龄、兴趣、国籍、生活环境等等。
调查问卷可以通过远程的方式来进行,也可以在大街上来完成。如果你选择的调查对象是大街上的随机路人,那么你必须确保问题足够易于理解;如果对象是UX设计师,那么问题就需要更加专业化。
比如:
下列哪个职能在设计过程中最重要?
A:交互,B:UI,C:都有
如果调查对象选了 A,那么他们可能会需要 Mockplus 这样小巧的产品;如果调查对象选了 B,那么他们可能更喜欢使用类似 Sketch 这样的产品;如果调查对象选了 C,那么他们可能更需 Proto.io、Justinmind、Axure 等等。
5. 增加问题的趣味性
调查问卷不需要总是很严肃的样子;提一些有趣的问题或许可以帮助你更加轻松地获取反馈。但如何设计有趣的问题并非易事,你需要很多知识作为辅助,有时甚至你的人格特质也会影响问题的质量。如果你毫无头绪,也可以参考一下竞品的问卷设计方式。
6. 重复提问
为什么我们需要重复问问题?因为有时被调查者会不小心忽略掉第一个问题,这样我们就无法收集到有效信息。所以你需要通过重复问一些问题来强调那些问题的重要性。
如何确保这样做不会使人厌烦呢?你可以试着对相似问题的顺序进行调整,同时改变它们的文案,使问题看上去并不那么相同;此外还可以尝试以图代字的方式。
7. 调整问题排序
很多研究者都发现,问题的顺序会影响被调查者的回答。如果顺序设计不当,很可能会对调查过程的体验造成影响。
一般性、笼统性的问题应该前置,而比较具体的则需要向后放一放。为什么?想想看,当你把问卷交给别人去做时,肯定希望能获取到最有用的反馈;但是如果问题一上来就很难于理解,谁会愿意花费时间去思考和填写呢?
小结
设计一份有效的用户调查问卷,这就像是在设计一款用户体验良好的产品 - 它们都和目标用户的体验息息相关。作为用户研究员,我们必须要掌握这样一些基本的问卷设计方法,才能更加有效地了解用户的诉求与期望。
UI 设计进阶 4-1:为何以及如何做设计调研?
什么是调研?
其实做调研远没有大家想的那么高深。创作者在动手前经常搜集各种灵感,比如要做个快餐店 logo 就会去搜集各种品牌案例、logo 形状等,这其实就属于调研(research)工作了。
举个非常有意思的例子是概念设计师 Prog 在知乎上的回答:确定要设计的东西之后,随便再找个毫不相干的东西硬拼在一起就好了。
「花生飞行器」就这么诞生了。
但我们做产品设计调研有些不同。比如最基础的产品调研就是观察人们使用产品或者体验的情况,并询问他们的心境,这种调查就是观察和访谈的结合。
一个著名的例子是 Henry Dreyfuss 在设计一个钟表的时候,他去钟表店,观察人们购买钟表。他注意到人们在购买钟表时总是拿起钟表并在手里掂量一下重量。然后他猜测人们认为好的质量的钟表一般都比较重。所以当他给自己的钟表挑选材料的时候,本可以用更轻的材料,但是他用了重一些的材料。因此人们会认为他的产品是有品质的。
为什么要做调研?
所以为什么要做调研?理由其实很简单,就是为了了解我们的目标用户。比如你为一家卖书的电商网站工作,我们的商品都有哪些、我们的买家都是怎样的人、如何才能找到更多买家……这些都可能都是你在进行落地设计前需要调研的。
尤其如果你在设计咨询公司,会遇到各种项目,里面很可能有你完全不了解的领域。比如公司接到设计女性化妆品包装的任务,难道男设计师们就只能互相干瞪眼了吗?去调研罢,去了解目标市场的用户心理、需求,找到切入点以做出更合适的设计。
而经过系统调研后所产生的结果,还将会成为之后设计讨论的基准,指导整个团队,避免陷入主观无休止的争论。
所以最后概括下,调研的核心是深挖用户、市场和行业背景,了解真实的需求和问题的本质,以确定设计的目标。
另外,设计调研的工作也是贯穿产品开发周期的,没有一次调研就完事之说。而产品需要不断迭代这件事也决定了设计调研会一直进行下去。
最常用的设计调研方法
设计调研的方法可以分为正式的(formal)和非正式的(informal)两种。
正式的方法系统、有效,且数据丰富,但是可能又慢又贵(尤其是拥有大量参与者的情况)。下面是一些常见的方法:
- 用户访谈(Interviews)
- 问卷调查(Surveys)
- 焦点小组(Focus groups)
- 日志研究(Diary Studies)
- 参与式设计(Participatory design)
- 任务分析(Task Analysis)
- 向导旅行(Guided Tour)
- ……
非正式的方法则更快速、便宜,但你可能遗漏某些重要因素(除非你的个人能力异常出色),下面是一些你可以使用的方法:
非正式的观察
自己观察、测试自家产品或竞品,亦或是观察他人如何使用产品,发现机会。
与主要利益相关者进行针对性的对话
不是正儿八经的用户访谈或问卷调查,就是将人约出来喝杯咖啡聊个天,从中获取他人的观点,也许其中能有启发你的地方。「利益相关者」的意思是,比如是目标用户、潜在用户,或比如是自己的领导、甲方等与项目相关的人员。
搜寻关于该领域的资料
对身边的亲友进行访谈
有时候自己身边的亲朋好友就可能是我们产品的使用对象,那么不妨直接找他们聊聊更加快速、方便。
使用思维导图
思维导图可以帮助我们有条理地将各种收集到的信息组织起来,防止遗漏重要的内容。
其他可能启发你的方法
- 查看解决相似问题的其他技术方案
- 针对你的问题的非科技化解决方案
- 你目标用户的背景、习惯、文化等
- 其他各种只要让你有灵感的东西(就像 Prog 的花生)
上面就是一些正式或非正式的调研方法。另外我也整理了几个最常用的调研方法的具体步骤和注意事项。但要说明的是方法永远只是工具,最重要的是达到调研的目的:理解用户。
用户访谈
用户访谈主要分为两种:一种是拦截访谈(Intercept Interview),另一种是预约访谈(Scheduled Interview)。
拦截访谈
拦截访谈就是在公共场所中对人进行快速访谈,时间把控在 1 至 5 分钟内。最好的位置比如超市、机场、火车站等人们可能需要长时间等待的地方。这种方法虽然拒访率高,但总体量大且成本低(也因此有了「散发小广告」这推销方式)。
预约访谈
预约访谈则在一个安静的场所(通常是会议室),一般花费 10 至 30 分钟。如果有需要,比如访谈在国外的对象,我们也可以做电话或视频访谈。下面是预约访谈的重点步骤:
1. 确定要访谈的对象类型
2. 计划访谈内容(主题、问题、流程等)
3. 测试访谈内容(找熟人测试,确保问题的质量和时间的把控)
4. 找到参与者(通过同事、亲友、网络等途径)
5. 一对一联系,预约访谈时间
6. 进行正式访谈
7. 测试下产品或竞品(如果有需要的话)
访谈技巧
关于访谈技巧,知乎用户「鹿不特丹」有个回答特别好,在此选择性摘录如下(原文请见参考阅读)。
访谈时的一个基本准则是「让用户更好的诉说」。如果你能让用户更好的诉说,那么你的访谈能力就比别人强。大家一定听过这样的描述「某某的访谈能力好,擅长深挖」,然后你就以为深挖就是多问几个 why,并非如此。因为连环问是很容易引起用户反感的,他们自己也不知道 why 啊,大家自我认知的能力都有限。用户会开始讨厌你、排斥你、然后骗你、再编个理由解释给你听,你就拿到了好一手垃圾数据。
所以在访谈过程中的一个方法是把问题转化成用户只需回忆或者陈述事实的问题,而这种方法往往又能收获更丰富的信息量。比如我想知道「某用户为什么会购买 XX 影棒」,我如果直接这样问他,用户的素质不同可能也很难组织出语句,结果不外乎价钱便宜、品牌大等虚无的标签,这些也是 PM 拍脑门也会得出的结论。所以我会把它转化成以下几个问题:
- 最开始是怎么知道 XX 影棒的?—论坛、广告、朋友推荐—介绍的内容是什么,打动的点什么?
- 之前有没有用过、接触过、听说过类似产品?—为什么决定买了 XX 影棒
- 买了之后谁使用的最多?主要用它播什么视频内容?
- 使用起来和自己的预期是否相符?惊喜点和不满意的点有哪些
- 会不会推荐给其他人?会推荐给什么人?推荐/不推荐的理由是什么?
访谈人员和主持人这个角色很相像,在与用户沟通的过程中,需要你能调节气氛、把握节奏。以上这些问题,除了最后一个,其他都是在回忆、描述,用户不需要一上来就思考自己的「初心」,而只是要进入对事实的回忆之中而已。他陈述完事实后,我来帮他梳理「初心」,他可以给我反馈说对还是不对,我们的讨论过程也会变得有意思很多。
所以做访谈一定要注意提问的技巧和节奏的把握。下面的问卷调查中,我将提到一些提问技巧,也是大家可以参考的。
问卷调查
问卷调查的流程没什么好介绍的,就是创建问卷,然后分发给人们。问卷调查也经常被用来确认目标访谈用户:先广泛地发出去,后筛选人员。
撰写问卷的一些技巧:
- 先获取基础的个人资料。通常不涉及隐私,了解必须的信息即可。
- 每个提问要有明确目标。也就是要再三斟酌问题实际上要测的是什么,并且要保证我们有能力对用户的答案做出反应。
- 保持问卷简短。保持调查时间在五分钟以内。如果您的问卷很长,预先告诉受访者大约需要多长时间。
- 先整体,后具体。先从宽泛的问题开始,然后转向具体或敏感的。
- 将相关的问题组合在一起。避免上下内容主题切换太多。
- 避免图像并注意问卷的视觉设计。问卷的视觉可以影响人们的反应,显示图像来表示答案或描述问题是没问题的。但是一些修饰性的背景图像(例如,一群快乐的人在聊天)将影响人们的感受,并改变他们的反应。
- 对问卷进行测试。在启动您问卷调查之前,通过向几位朋友展示来进行测试。请他们用自己的话来描述每个问题的要求,以及是否有任何混淆的地方。
提问时应该注意避免以下几个点:
- 避免引导性的提问。比如「你愿意用这个版本的产品吗?」
- 避免使用封闭式提问。比如「你是否喜欢这个版本?」可以改为「你认为这个版本感觉如何?」,答案则可以为「很棒、较好、一般、很差」。
- 避免一个提问出现多个问题。比如「你对聊天和搜索功能满意吗?」
- 避免直白地用「为什么」去征求动机。理由上面也有说,因为用户很难组织出真正的意图。
- 避免使用专业或模糊或有歧义的词语。比如「月收入」一词是税后还是税前都要说清。
- 避免使用假设性提问。比如「如果我们提供这样的功能,你会去用吗?」
-
在线问卷工具推荐:
腾讯问卷:wj.qq.com
-
焦点小组
焦点小组由一名主持人与一个被调查的小组进行访谈。主持人负责组织讨论,参与者可以自由地发表意见,可能另有研究员在一边记录笔记。
焦点小组的组织步骤和上面的预约访谈步骤类似,都是找到人,然后参与交流。但相比一对一的用户访谈耗时高的缺点,焦点小组只需要 1~2 场深度访谈,就能同时搜集到 8~12 名用户的反馈。
在具体的执行上,主持人则需要多注意自己的言行,承担沟通不同参与者和保持话题方向的责任。比如 ISUX 的一篇旧文提出: 不能只按同一种顺序询问用户意见或让总让某些人优先发言;
- 尽量让用户均匀地分布在讨论桌四周,避免分布不平衡或出现「审查式」的坐位(自己和个别用户坐一边,其他人坐另一边),导致一部分参与者产生压力;
- 对于不同性别的参与者,可以交叉安排座位,比如“男女男女男女……”的方式,避免讨论中出现小团体;
- 对于特别核心或资深的用户,应多加留意,适当多给他们一些表达机会,当然,也需要和整体保持平衡。
最后要提醒的是,焦点小组不适合过于敏感、私人观点的交流,比如政治、宗教等话题。这些私人的话匣子很难在不熟悉的人面前真正打开,因此请注意避免。
总结
调研工作其实就是一个学习的过程,不断了解更多知识,扩散自己的眼界。通过调研,你会获得大量信息和经验。但如何借此构思创意,找到设计机会,则是我们下一篇需要探讨的。
体验设计指南:问卷篇
1. 前言
之所以会先从问卷入手,一方面是因为我们在问卷的设计的过程中,很难找到全面分析问卷设计的文章。另一方面是因为理解用户,才能理解体验。真正好的体验一定来自于用户,且以帮助用户解决问题为目的。
接下来,本文会通过大量问卷案例,把实际过程中的落地经验分享给大家。
1.1 问卷的使用场景
问卷还是访谈?
在实际的工作中,常用的用户调研方式有两种:问卷调研和用户访谈。那么,我们这次体验调研,为什么使用问卷调研而不是用户访谈呢?
想要回答这个问题,可以从问卷和访谈的差异性上进行对比:
当一个问题没有明确答案的时候,很适合做访谈,因为没有确定的参考变量,不知道方向在哪,访谈可以帮助我们找到目标方向。甚至你的访谈对象可以不是产品用户,但是他一定要有相同的产品需求。比如一个用户没有使用过微信,但是他有明确的社交需求,那么这个用户就有被访谈的价值,因为他能够帮助我们找到产品后续的迭代方向。
而问卷是基于现有数据,向用户求证问题的过程。当公司产品经历了冷启动阶段之后,后台已经记录了足够的产品数据,这其中包括各功能的使用情况、用户行为等,都为问卷设计提供了很好的参考变量。所以,这个时候调研对象控制在使用过我们产品的用户,可以帮助我们快速定位问题。
当然,上述观点并不绝对,根据公司业务、使用场景、成本预算等因素,问卷和调研一起使用的情况也是有的,所以找到适合自己公司的调研方式最重要。
补充:问卷是一种常用的定量分析工具,使用场景主要分为收集用户数据和需求验证。
收集用户数据
收集用户数据主要是为了判断我们对用户的的定位是否精准。具体表现为收集用户的基本信息、和用户的体验反馈(吐槽、好评),主要作为了完善用户画像。
需求验证
需求验证主要是调研产品功能是否符合用户预期,以及判断现有功能是否有优化的价值和空间(判断优化空间的依据主要以后台数据为根本立足点)。
举个例子:平台上架了一个xx功能,新功能的触达路径从首页到目标页需要三步,通过后台数据埋点的追踪发现,在第二步的时候,触达人数骤降。那么针对新功能的问卷重点之一,就会放在这个页面触达率为什么这么低上,以此寻找解决方案。
1.2 问卷的特点:
问卷调研属于间接调查,即被调查者填写问卷是在调查者不在场的情况下进行的,即调查者与被调查者一般不见面。
问卷的优点:
- 效率高:低成本、反馈快。
- 容易量化:问卷的内容呈封闭式,答案基本会被限定在有限的数量范围内,很少有主观问答,样本结果可控,容易量化。
- 范围广:问卷调研不受人数、地域范围、时空的限制。
问卷的缺点:
- 封闭性:问卷的答案是设计者预先设计好的,所以收到的信息有限。
- 数据质量不稳定:由于问卷覆盖的用户广,回答问卷的人是不受约束的,用户的配合意愿对数据质量影响较大(可能会出现随便答题的情况)。
1.3 问卷流程
在工作中,问卷的设计流程通常被分为四个阶段:准备阶段、设计阶段、发放并回收阶段,分析报告阶段。
2. 问卷设计前
2.1 关键目的
确定问卷目的是为了聚焦问题的范围和方向。
每一个产品调研问卷都应该围绕着至少1-2个核心目标进行拆分,过多的核心目标会导致问题数量没法控制和调研方向不清晰。
2.2 问卷说明
在向用户提出问题之前,有个最重要也是最容易忽略的地方,就是问卷的说明部分,通常这些说明会包括以下内容:
- 告诉用户为什么要做这份问卷调查:让用户知道,他们的建议会影响产品的设计方向。
- 告诉用户做调研的人是谁(即平台方的名称)
- 告诉用户这份问卷的重要程度:告诉用户的选择会影响最后产品的方向
- 告诉用户需要多久能填完这份问卷:让用户判断当前是否有足够的时间完成全部问卷。
- 告诉用户回答问卷的有效期限:避免用户填写完后,提交的时候发现已经错过了时机。
- 告诉用户保证受访者的个人隐私是保密的:打消用户不必要的顾虑,反映客观事实和观点。
- 问卷奖励的说明:激励用户答题,最好是和产品相关的奖励,比如说平台会员奖励。
2.3 确定问卷的目标用户
用户分群:
用户分群其实就是通过权衡来让调研目的和用户的需求相匹配,忽略和调研目的不相关的用户,从而更好的调研目标用户的需求,本质是为了提升效率。
常用的用户分群维度由时间、用户行为和用户属性三个维度组合完成:
- 时间范围:比如,最近7天,或者给出一个时间区间。
- 用户行为:围绕调研目标,明确用户的核心行为路径以及分支路径。然后判断用户完成了/未完成/依次完成了xx路径,比如:
- 完成了登录注册的用户
- 没完成登录注册的用户
- 完成了登录注册,并且点击了首页广告位的用户
- 用户属性:关于用户属性的定义,没有统一的标准,通常会从业务角度出发,基于产品功能或运营玩法,对用户进行属性分类,比如:性别/是否新用户/是否实名认证/用户来源(抖音、地推)等。
选择的维度越多,用户越精准。
我们在进行用户分群时,定位的精准程度,和维度的选择数量是正相关的。时间范围越窄,用户行为越多,用户属性越多,定位到的用户越精确。
举个例子:“近7天使用xx功能的男性用户”,一定比“近7天使用xx功能的用户”更加精准,因为多了一个“性别”的维度。
当然,每一个产品的业务模式和用户群体都是复杂的,根据商业模式、产品功能、用户使用习惯和目的不同,这些因素都可能成为用户细分的维度。
样本数量
样本的数量,主要取决于我们想要回收多少份有效问卷,也就是回收率。
- 回收率 = 回收的有效回答份数 / 总发送的份数 × 100%
- 问卷回收数 = 回收率 × 样本数量
所以,在回收率固定不变的情况下,样本数量越大,问卷回收的数量越多,反之,样本数量越小,问卷回收的数量越少。
影响样本数量的因素
影响样本数量的因素主要分为响应率和完成率:
- 响应率 = 打开问卷的用户 / 问卷实际发放人数×100%
举个例子:平台通过渠道向100人发放问卷,只有50人打开了问卷,那么调查的响应率为50 / 100 × 100% = 50%
- 完成率 = 完成并提交问卷的用户 / 打开问卷的用户×100%
举个例子:有100人点开了问卷,最终有50个人填写完成,那么完成率为50 / 100 × 100% = 50%
相同的调研样本数量,用户响应率和完成率越高,有效问卷的回收率也就越高。所以,除了增加样本数量外,也可以通过提高用户的响应率和完成率,来提高问卷的回收数量。
举个例子:
- 扩大问卷的曝光量,从而触达更多用户,提高响应率。
- 丰富问卷奖励,增加用户的答题意愿,提高完成率。
样本数量的边际效益
问卷数量的价值是存在边际效应的,因为随着样本数量的增多,回收的答案是趋于一致的,参考价值较低,所以问卷的样本数量并不是越多越好。
通常为了保证最终的有效问卷回收能满足研究报告,应该在理想的样本数量上,进行适当的扩充。
举个例子:通过观察平台用户的响应率和完成度,估算出抽取1000数量的样本数量能够支撑最终的研究产出,但是考虑一些特殊情况的产生,此时会再加上200的样本数量,来确保问卷的回收率。
3. 问题和答案的设计
3.1 MECE原则
MECE是一种将一个具体事物进行”拆分”的原则,该原则由麦肯锡顾问巴巴拉·明托(Barbara Minto)在《金字塔原理》一书中首次提出,随即被奉为咨询解决思路的圭臬。其目的在于分析问题时尽量做到对问题点进行不重叠且不遗漏的分类,而且能够借此有效把握问题的核心,并成为有效解决问题的方法。
MECE原则可以分为两个部分:
- 相互独立(ME):
互斥性原则是指在问卷答案的设计中,同一问题的若干个答案之间关系时是互相排斥的,不能有重叠、交叉、包含等情况。
- 完全穷尽(CE):
完备性原则是指在问卷答案的设计中,所排列出的答案应包含问题的全部情况,不能有遗漏。特别是针对封闭题而言的,必须做到穷尽。
MECE的步骤
了解完MECE原则后,接着从以下四个步骤来说一下它的实际用法:
步骤一:确定范围
明确问题是什么,比如说我们当前产品的问题是:“为什么新用户搭讪次数低?”,所以我们的问题就会聚焦在搭讪数低的原因上,这也是“完全穷尽”的基础,只有当问题有了边界,才能穷尽。
步骤二:寻找切入点
切入点指的是按什么方向进行拆分,还是以“为什么新用户搭讪次数低?”这个问题来举例,我们从搭讪数低的原因出发,选择的切入点是“角色”。即:在整个业务中,会涉及到的“用户方”和“产品方”两个角色:
- 用户在使用过程中遇到哪些问题,导致用户搭讪次数低,比如说用户对平台推荐的人不感兴趣、不知道搭讪是什么等。
产品的功能设计是否合理,比如说交互逻辑、界面布局,甚至可以聚焦到按钮的大小和颜色,这些都可能会影响用户使用搭讪。
步骤三:继续细分
考虑当前问题是否可以继续细分,比如说用户方可以分为男性和女性,但是这对搭讪数并没有直接的影响,可能还要继续细分为年龄、地区、职业等属性,直到找到影响“搭讪”的因素。
步骤四:检查确认
细分完成之后,对问题进行检查,看看是否有明显遗漏或者重复的问题。
怎么检查提出的问题是否已经满足相互独立和完全穷尽呢?这里提供以下两个方法:判断是否相互独立:每个拆分后的问题,是否可以和其他问题清楚的区分开。
- 判断是否完全穷尽:拆分后的问题是否具有唯一性,是否把能想到的都想到了。
*注:MECE原则同时适用于问题和答案的设计。
MECE原则的拆分方法
二分法
二分法指的是把信息分成A和非A的两个部分,也就是说在找出事物的某一维度后,继续找出一个相反的维度,通俗来说就是找出他的反义词。常见的例子在我们生活中随处可见,比如说:未婚和已婚、成年和未成年、黑和白、上和下等等。
象限法
找到一个事物的两个维度,进行坐标系划分,变成4个象限。
比如我们一次性接到了很多迭代的设计需求,可以根据任务的重要性和紧急程度两个维度,确定所有迭代需求的优先级。
- P0:重要且紧急,该问题未得到解决,用户无法顺利完成任务,这种需要马上开始进行优化解决的,比如一个电商软件,用户付款时总是失败。
- P1:重要但不紧急,这种一般指用户在操作时可能感到麻烦,但仍然可以继续完成任务,比如说按钮、反馈很不显眼,需要仔细查找。可以过段时间交付的内容也算在这个范围内,比如国庆大型活动这种需求一般都要提前很久准备,可能交付时间在一两个星期之后。
- P2:不重要但紧急,这种情况在设计工作中一般会比较少,比如历史版本中遗留下来的字号、间距等问题。
- P3:不重要且不紧急,尽量少做,或者可以不做的需求,比如需求评审会上不完善、待修改的需求。
要素法
要素法是根据一个事物的做成要素行划分的。比如说我们作为设计师,都知道体验很重要,但是什么样的体验才能被称之为好呢?于是很多公司会制定自己的体验度量标准,比如Ant Design的PTECH模型,就把体验拆分成了性能体验、任务完成度、参与度、清晰度和满意度。
题外话补充:
HEART模型更多是用来度量C端产品的体验,并不太适用于B端产品。B端产品多是提高效率的工具类产品,业务比较复杂且用户*需要付费才能使用,比较注重任务的完成效率和逻辑的清晰度。
公式法
按照现有公式中的要素进行去分类,比如说销售额 = 销售量 x 价格,CTR = 点击数 / 曝光数(根据不同业务和场景会有细微差异)。
这种时候,我们就可以把销售额拆分为销售量和价格,CTR拆分为点击数和曝光数。
流程法
流程法指的是把一个事物,按照进行的流程进行划分。拿我自己的上班日常来举例:8个活动组成一个流程。
3.2 问题设计
问题的四种形式:
- 封闭式:
在提出的每个问题下面给出若干个答案,让被调查者选出其中的一个或若干个问题来回答的问卷形式。封闭式问题的优势在于,用户在看到问题和答案的时候,很快就能理解提问者的目的。
a. 是非型:有且只有两个备选答案,受访者只能从中选择一个答案。
b. 并列型:提供两个及以上的并列答案,让用户在其中选择最适合自己的答案。
c. 等级型:对两个及以上分成等级的答案进行选择的题型,只能从中选择一个答案。
d. 排序型:让用户从备选答案中选出全部或者部分答案,根据用户选择顺序对答案进行排列的一种方式。
- 开放式:
开放式问卷是问卷设计者提供问题,由被调查者自行构思自由发挥,从而按自己意愿答出问题的问答题型为主,也就是我们常说的填空题。
开放式的优势是经常会收集到一些意料之外的信息,且都是用户直观的感受。但正是由于它的开放性,会导致问题的答案很不规范,经常会出现用户的回答和问题不相符的情况。这类不规范的回答无法使用数据分析方法,严重影响最后的分析效率。
比如说我们本次的问卷目标是调研影响用户搭讪率和回复率的因素,其中有道填空题:
问题:您在搭讪聊天的过程中,有什么不满意的地方?或有什么建议?
回答:不太清楚、不知道等词语。
- 混合式:指的是封闭式+开放式组合,常见的是在封闭式的答案下,用户选择一个答案后,会出现一个输入框,填写用户自己的看法,根据不同的情况,输入框分为必填和非必填。
问题产生的依据
*问题的产生要有理有据。
我们本次调研的目的,主要是为了帮助用户解决问题,所以在问卷的设计过程中,要问自己两个问题:
- 找到用户遇到了哪些问题?
- 造成用户遇到这些问题的原因有哪些?
步骤一:通过用户使用路径差异,定位问题
通过对比路径和数据漏斗,发现并记录用户在使用过程中遇到的问题。
如下图,是一个简化的用户路径和漏斗数据,主要分析的是“首页 - 发送消息”这条核心路径,可以发现:用户流失最大的地方在“查看用户资料 - 进入IM页”这一阶段。
当定位问题后,还需要通过福格模型来拟定问题和答案。
步骤二:通过福格模型,分析影响因素
福格模型认为,行为的发生,有 3 个关键的要素,并且需要 3 个要素同时发生才能产生作用,也就是动机、能力和提示:
- 动机:做出行为的欲望。
- 能力:去做某个行为的能力。
- 提示:提醒你做出某个行为的信号。
*之前的版本为 B=MAT,其中 T 是 trigger 触发的意思,后续迭代成 B=MAP,P 是 Prompt 提示的意思,但是提示和触发的差异并不大,不必纠结。
当我们利用福格模型去分析“查看用户资料 - 进入IM页”的流失问题时,就变成了:
- 动机:对方资料页的哪些信息对用户的吸引力高?哪些吸引力低?
- 能力:阻碍用户点击私聊的原因可能是什么?按钮是否在拇指可触控区域?
- 提示:用户是否注意到了私聊的存在?怎样在不打扰用户的情况下让用户注意到私聊按钮?
针对MAP这三个因素,预测用户在各个使用场景会遇到的困难,总结成问卷,向用户求证。
问题筛选
我们通过上述方法设计出很多的问题后,时常会出现问题很多,“我全都要”的情况。
步骤一:通过属性,对问题进行归类
这里提供给大家一个思路:根据属性不同,对所有问题进行归类。当然,有时候会遇到这样的情况:有一些问题没有明确的属性进行定义,但是又很重要,这种问题可以统一概括为其他。
步骤二:问题筛选
归类完成后,从每一个属性中,选出固定数量的问题整合成问卷,筛选的标准以目标结果为导向,也就是每个问题和本次问卷目标的关联性,关联性强,则纳入问卷,反之则剔除。
这样做的好处是在最后的问卷结构上,可以把相同属性的问题放在一起,保证上下问题的逻辑性和相关性,用户作答时不显得别扭。
问题数量
问题的数量没有固定的要求,根据不同的业务、不同的问卷目的,问卷的数量都是不同的。
通常情况下,问卷中的问题越多,所得的数据就越详细。但是问题越多,用户的投入成本也就越高,这样就会导致填写意愿降低。
我们公司平时的问题数量,基本会控制在15个左右,为的是让用户能够在半小时内填写完毕。因为用户填写问卷的耐心和时间都是有限的,所以在问题的数量上,不宜过多。
3.3提问技巧
由浅入深
- 按照问题的难易程度进行排列:问题应该先易后难,由浅入深,先问正面的问题,后问负面的问题,先描述客观问题,后描述主观问题,先一般性质的问题,后特殊性质的问题。
- 按照问题的类型进行排序:排列问题的顺序时,要注意把不同类型的问题放在一起,这样用户可以一起回答,避免破坏用户的思路和注意力。
- 按照问题的时间顺序进行排列:一般来说,问题应该按照事情发生的过去、现在、未来的时间顺序进行排列,也可以发过来,即由近到远。
提供场景预设,帮助用户回忆
在设计问题时,避免回忆性问题,特别是长时间以前的回忆,记忆的模糊会降低答题的准确率。
因为人的记忆是呈碎片化存储在大脑里的,直接问用户是很难被搜索到的。但是,在实际调研中,经常会出现不得不让用户回忆的情况,针对这种场景,需要在问题当中构建出一个具象的场景,这里的场景可以是时间、地点或者产品功能等,能够帮助用户串联起回忆的都可以。
举个例子:比如我现在想调研用户使用发布模块的情况,那么在问题设计时,就会围绕发布相关的场景进行提问。
保持客观,避免导向型问题
如果问题中带有偏向性的语境,这样就可能引发“诱导”,会导致用户选择问题“暗示”的答案。
举个例子:
避免范围很大的问题
如下图,单看修改前的问题是没什么对错的,但聊天只是我们产品的功能之一,它由1v1聊天、群组聊天等多个功能组成。这样就会造成用户回答的内容很宽泛,很难提取出有价值的信息。所以在问题的修改上,我们需要更加具体的指向性内容。
避免一个问句,两个问题
一个问句中,出现两个及以上的问题。这个很简单,我们直接用上面学到的MECE原则进行拆分就可以了,直接分成两个问题提问。
避免术语、黑话
在设计问题时要避免使用专业性术语,通俗易懂的语言容易被不同画像的用户理解,避免误会而引起的问答偏差。有些用户可能因为不知道“算法”的具体意思,导致问卷无法进行。
避免双重否定句式
双重否定就是否定两次,即表示肯定的意思,如:不得不。这种句式的问题,用户通常不能一下子就读懂句子的意思,增加答题成本。
敏感问题
- 转移法
不直接询问用户对某事的观点,而是把问题转移到其他人身上,然后,请用户以第三人称的视角,对他人的回答作出评价,更能得到用户真实的想法。
- 假设法
3.4 答案设计
答案设计的注意事项
答案的设计最后会影响数据的有效性,所以在设计上需要注意以下三点事项:
- 具体量化:避免主观描述,比如,偶尔、经常、几乎、相当多。这类词语在不同的情况下,不同的用户会有不同程度的理解。
- 避免无效数据:特殊情况下,提供无效答案,比如其他、以上都不是等选项,避免给出的答案都不是用户想要的,随便选一个,影响最后的数据分析。
- 避免多选:多选的话设置上限,一般不超过三个,可根据具体情况增加或减少。
3.5 问卷评审
内审和外审
在内部评审之前,首先要自审一遍,这就要求我们在设计问卷后,最好是站在问卷回答者的角度,试着自己做一遍问卷,避免出现一些比较常规性质的问题,比如问卷的逻辑性、用词的通俗性、语意的表达等。
问卷自审后没什么问题后,可以邀请项目组的人进行内审,最好可以拉上开发、产品一起,提供多角度的思考方向。
4. 问卷发放
4.1 时间
在问卷的发放和回收时间之间,需要考虑用户看到问卷的时间和答题时间。
根据问卷的曝光程度,留有足够的时间让用户能够看到并点击问卷,如果发放和回收中间留的时间过短,会造成用户可能没看到问卷,或正在答题中,就已经开始回收了。这种情况会导致用户在没有完整阅读题目或者充分思考的情况下,随便作答,无法获取足够的样本数据和用户的真实想法。
当然,发放和回收中间留的时间也不宜过长,时间越长,用户忘记调研问卷这回事的概率也就越大。
4.2 地点(投放方式)
投放渠道,由于我们的体验工作一般围绕APP进行,所以我们的渠道主要分为以下几种:
- app消息推送(push)
优点:可实现精准投放
缺点:受限于设备的消息开关,打扰性强
- app广告位推送:启动页,banner,信息流等形式
优点:由于是用户主动点击进行,所以有效性较高
缺点:广告位多为全量投放,无法保证用户参与度
4.3 人物
用户和问卷的匹配关系:问卷的调研对象必须是我们的用户。也就是说,如果投放的用户和问卷不匹配,那么最后得到的数据是没有意义。
并且在分发方式上,还会根据规模分为部分和全量。部分就是针对用户分群后的具体用户,有选择性的进行问卷发放。全量则是针对平台所有用户的问卷,这种由于平台的用户类型很多,资源浪费等问题,基本不太用。
5. 问卷整理:数据清洗
5.1 有效问卷的数量影响最后分析的准确性
在前文关于问卷的特点中我们提到,用户回答问题的场景是不可控的,可能会出现瞎填的情况,如果我们回收问卷后立马进行分析,会混入一些无效数据,大大降低我们调研结果的可靠性。
所以,在正式进行数据分析之前,还有一个问卷筛选的环节,以此保证数据的有效性,专业名称叫做数据清洗。
5.2 筛选无效问卷的标准
既然涉及数据清洗,那么就一定会有一套标准去判断哪些数据是可以“被清洗”的,所以我们这里总结了以下几个标准供大家参考:
- 选项呈重复性和规律性
检查答案是否出现保持一致,或呈现某种规律的情况,出现的问卷进行删除。
举个例子:所有的答案都是“A-A-A-A”或”A-B-A-B”
- 剔除漏答数过多的问卷
严格来说应该将漏填的答卷全都进行剔除,但有时候会遇到回收样本量很少的情况,所以一般会设置漏答数的标准。
常用的标准是总题数的2/3,例如问卷一共设计了 10 个问题,回答了 6 个以上的用户即视为有效问卷,反之,则视为无效问卷。
- 前后逻辑不符
有些用户受主客观因素影响,可能不会认真选答案,所以需要检查前后的选项是否矛盾。
在问题的设计中,经常会出现多个问题之间保持逻辑关系,如果用户选择了前一题“A”,则不应该选择后一道题的“B”。
举个例子:用户在前一题中选择了“从未搭讪过”,后面却又选择了“搭讪后没有人回复“,这种就可以视为前后逻辑不符的答卷。
如果问卷中实在找不出可以用来表示逻辑关系的问题,那么也可以设置一个明显错误的答案,最后统计问卷数据时,剔除该问卷即可。
当然问题的迷惑性不能太强,我们只是想要检验用户是否在认真答题,而不是为难用户,所以认真阅读问题和答案就不会出错。
- 未按问卷所指示之题项填答
举个例子:第1题问:「请问您使用过语音功能吗?若没有,请忽略第 2 题」,如果用户第1题选没有的,却仍回答了第2题,那么就可以把该问卷视为无效。
- 根据填答时间和提交时间处理
在发放问卷前,我们会进行答题测试,目的是估算出答题所需要的总时长,以此作为问卷答题时长的有效性依据,如果最后回收的问卷答题时间比预估时间过长或过短,就可以判断为答题不认真,都可以根据业务需求酌情剔除。
提交时间主要针对的是在规定时间内完成答题,但超过了提交时间的用户。比如说我们回收问卷的截止时间是12月7日,但是有的用户是在12月8日完成答题并提交的,也会被视为无效问卷。(市面上有些问卷工具,可以回收设置时间,超过规定时间提交的问卷不计入问卷回收。)
6. 分析报告
统计各选项的数量、频率是最常用到的分析方法,然后通过图表展现出来,可以非常直观的看出整体分布情况。具体可以分为趋势分析和分组分析两种方法。
6.1 分类筛选
顾名思义,分类筛选是根据类别来进行数据筛选的一种方法,常用的类别有:
- 按回答筛选:根据题目中某道题进行筛选分类。使用场景如:需要分别查看男、女性的数据,或者是按部门查看数据。
- 问卷提交时间:顾名思义按提交的时间筛选(以天为时间单位)。
- 来源详情:如链接地址、邮件地址、手机、PC等。
- 地区:省份、城市
- 其他类别:比如得分、IP地址等。
举个例子:如下图,选择的筛选条件是问题回答+提交日期。最终选择的类别为:年龄在21-30岁之间的用户,且2021/12/23之前提交问卷的用户,最后得到的有效答卷是 44 份,这就说明满足该筛选条件的用户有44人。
此时,系统会把这44个人回答的其他问题也全部筛选出来,如下图:
44个人当中,有7个人搭讪过 1 次,9个人搭讪过 2-5 次,4个人搭讪过6-10次,5个人搭讪过 10 次以上,剩下19个人从未搭讪过。
6.2 交叉分析
除了分类统计,我们还可以通过交叉法,进行差异分析,找出影响因素。
交叉分析法通常用于分析两个及以上的变量关系,即同时将有一定联系的变量及其值交叉排列在一张表格内,形成交叉表,从而分析交叉表中变量之间的关系。
听上去有一些麻烦,但是现在的很多问卷平台都会提供交叉分析的功能,下面会以问卷星为例,简单的了解一下交叉分析的具体流程。
步骤一:点击问卷后台的统计页面,选择交叉分析,选择自变量X和因变量Y,点击交叉分析。
步骤二:得出“分析年龄和关注信息之间的关系”数据表现。
当数据都放在一起分析时,很难看出年龄和关注信息这一行为的关系,但使用交叉分析之后,可以聚焦每个年龄段对于关注点的偏好,针对性的给出优化方案。
- 20岁以下的用户中,最关注的是颜值,占比为63.64%。
- 21-30岁的所有用户中,最关注的是年龄,占比为67.86%。
- 31-40岁的所有用户中,最关注城市,占比为76.92%。
- 其他年龄的信息偏好等等…
上述的两种分析方法(分类筛选和交叉分析),都是我们常用且方便的分析方法。如果想要更加深入的进行调研总结,可以使用一些专业的分析软件,例如使用SPSS软件,或者导入Excel表格做数据的处理,这都是目前使用比较广泛的一些分析工具。
*重要的不是分析工具,而是对数据的敏感程度和分析能力。
7. 写在最后
至此,从问卷设计到最后的数据分析就讲解完了。
问卷调研不是目的,目的是通过调研得出的结论,指导我们体验的优化方向,问卷调研本身只是了解用户的手段之一,重要的是在问卷设计过程中加深对手头业务的理解。
当然问卷只是个开始,通过调研得出的优化方案,最终还需要数据的验证才能证明是否有价值。关于数据验证,也会在后续的文章中和大家分享。(疯狂挖坑,这次一定)
同时,如果大家觉得有不足的地方,欢迎评论交流。
体验路漫漫,希望我们共同进步~
参考:
[1]《金字塔原理》作者:芭芭拉·明托
[2]《如何确定目标用户》https://www.zhihu.com/question/30470196
[3]《如何“设计”出好的调研问卷?》http://www.woshipm.com/user-research/5074714.html
[4]《怎么快速筛选出无效问卷?》https://www.zhihu.com/question/337874060/answer/2166997933
一篇文章搞定问卷调研(上)
1.概述
问卷调研可以说是所有的调研方法中最高效、最便捷的数据收集方法。特点是能在短时间内完成对大样本的数据收集工作。
问卷的题干对问题具有极大的针对性,因此特别适合用在抓取产品特定问题,并且能够提供精准答案的场景下。
而问卷调研的结果又常常采用数据图表作为最终的视觉展现效果,所以在设计问卷的时候,必须先明确一下数据的收集规则、分析方法,这样才能做到对症下药。
就目前的互联网环境而言,最热门的问卷投放形式主要是采用网络问卷,其次是纸质问卷、电话询问等传统的问卷形式,不过这些形式所占比例较少:
纸质问卷常见的投放形式是面对面投放,它的优势在于可以在用户填写时,直观地观察到受访者的行为态度数据。
比如在线下场景顾客购买奶茶的同时,做一份有关奶茶口感的问卷……
而电话询问的形式主要是被三大电信运营平台惯用,
比如“充值服务请按1,人工服务请按0……”
电话访问的好处在于沟通方便,对客户有现成的联系方式,可以及时地获取到相应的定量数据。
但是相较于其他问卷形式笔者个人认为其弊大于利,主要原因有以下三点:
1.不方便获取用户行为态度数据;
2.电话存在隔阂,不近人情;
3.电话环境下受访者不可控性大,容易随时挂断……
(更多关于电话描述的内容详见后文,此处不作过多赘述。)
在本篇文章中,对于问卷调研的核心环节主要会围绕问题的编撰和设计来展开。
一般的问卷调研主要分为四个步骤:
考虑适用场景、编纂问卷问题、问卷发放形式和回收、数据统计和分析。
本篇《上》部分主要描述的是适用场景和编撰问题这两个模块。
下面我们就来聊一聊关于问卷调研的详细内容。
2.适用场景
站在产品生命周期的角度看,在产品初创期、迭代期、成熟期都可以进行问卷调查。
这不仅可以帮助调研人员理解用户的基本需要和本质需求,同时获取的数据也可以指引产品更接近或达成目标。
- 问卷调研对于初创期的产品有以下帮助:
1.可以帮助产品确定目标用户;
2.结合问卷获取的用户痛点和需求,帮助产品确定某些功能点的开发方向;
3.可以加入适量的场景问卷,了解目前用户在某个目标问题上的解决流程。
- 问卷调研对于迭代期的产品有以下帮助:
1.了解当下用户的群体特征;
2.追踪用户的情感演变过程,找出用户喜欢/讨厌的功能或交互;
3.了解用户对产品最新的情绪和态度。
- 问卷调研对于成熟期的产品有以下帮助:
1.可以通过问卷了解到用户对产品的满意度、推荐值,方便销售/运营人员进行精准化营销;
2.加速商业价值的变现。
当然,和其他方法一样(如用户画像、用户访谈、卡片分类等),问卷调查既可以作为单独的调研活动,也可以配合其他调研活动进行补充说明。
比如前期借助用户画像助力问卷调研,从而精准锁定目标用户;
通过进行问卷投放,利用问卷调研先筛选一部分无效用户,再后续邀请有效用户进行用户访谈……
现在我们了解了关于问卷调研适用的一些场景和大致情况,接下来我们就结合产品生命周期和当下所面临的一些问题开始有针对性的编撰题干吧!
3.问卷编撰
很多读者对于问卷调研的刻板印象就是是:速度快,效率高。所以在编撰问题的时候,容易盲目地追求速度,导致问卷质量出现问题。
其实问卷调研是一项极具挑战性的用户研究方法,正确地编撰、设计和执行需要花费大量的时间和精力。
对于问卷的核心环节—问卷编撰部分,笔者主要将它分为确定问卷目标、确定调研基数、进行问题编撰、问卷构成要素这四个步骤逐一讲解。
下面我们就来详细拆解关于问卷题干设计的具体内容。
3.1 确定问卷目标
开始进行编撰之前,首选需要明确产品当下的商业目标和需要解决的问题,就相关问题所需要的解答进行内容编纂,也就是前文提到的反推法。
下面对一些需要明确的方向进行列举:
- 就目前产品生命周期而言,定义的商业目标和设计目标分别是什么?
- 通过问卷,想要获取到哪些有用、有价值的信息?
- 如何确定问卷所投放的目标用户群体?基数需要多少;
- 问卷的预期应答分布侧重点在哪?
- 编撰完问卷之后,又该如何进行发放和回收?是利用线上平台还是线下发放/回收?
- 回收来的数据该如何收集整理归纳,利用哪些统计软件、分析模型对数据进行处理?
……
尤其是第一点,面对产品的不同生命周期,所需要的问卷答案也各有侧重点。
经过前文我们大致了解到:
初创期产品目标主要集中在用户行为习惯、需要、需求方向上;
迭代期产品更多的是将目标集中在如何使功能更完善、用户体验更高效上;
成熟期产品目标多集中在用户的态度、满意度、NPS上。
所以明确产品当下的商业目标,围绕需要解决的问题,可以帮助我们更好的编纂问题,确保问卷答案具备针对性,才能在接下来的流程当中逐渐明朗问卷的提问方向。
3.2确定调研基数
问卷的基数会影响结果的偏差,尤其是在概率抽样和非概率抽样的影响下,偏差尤为明显。
➡️站在统计学角度来看,概率抽样的用户群体覆盖面会更广,既涵盖主要用户,也包含了辅助用户,这样才能够确保样本的准确性。
反之非概率抽样的数据结果往往会比概率抽样的准确性更低,甚至还会出现大面积的数据偏差。
这个时候就需要在后期对数据进行微调,甚至通过加入人工干预的方式来矫正数据的准确性。
➡️而站在数量的角度来看,概率抽样的问卷基数范围或数值偏大时,可以确保调研数据的准确性和有效性。
但是一旦当基数范围或数值偏小时,比如只有几个人的时候,问卷调查往往会被发展成反馈表的性质。
一旦变成了用户反馈表,问卷调研就失去了存在的意义,也就转变成了用户痛点陈述或是说意见反馈表了。
当然,所谓物极必反,调研基数的范围或数值也并不是越大越好:
随着基数的上升,所获得数据的性价比会随之降低,就像中国儒家讲求的中庸之道一样,总有一个合适的区间可以找到基数与性价比的最优比。
因此,一份合适的调研基数还是需要结合统计学、分析学来确定当前产品适合的基数是多少,而不是拍脑门决定。
3.3进行问卷编撰
在问题编撰上,问题的题型主要有封闭式题型和开放式题型两类:
封闭式题型的优点很明显:
就是对所选答案或观点具备唯一性,也就是选项中可选出明确并且唯一的答案(多选除外)。
不过它的局限性也同样突出:
由于给出了固定选项,因此扩展性较差,难以满足用户的其他选择需要,对于参与者来说不够友好,灵活程度低。
日常生活中,我们常见的封闭式问卷的形式主要有三类:
选择类问卷、评分类问卷和排序类问卷。
下面我们就来详解一下这三类问卷的区别和它们具体的表达形式:
➡️选择类问卷:选择类是问卷当中最常见的一种问卷形式,主要分为单选和多选两种。
单选题型具备答案唯一性,且目标明确,如下图。
单选题有两种展现形式,一为直接罗列选项,二为下拉选择。笔者建议在单选选项多于5个(不含)时采用下拉选择来展现选项会更合适。
而多选的题型虽然给定了固定答案,不过选项多样,对调研人员后期的统计分析难度会加大,如下图。
数据获取的角度来说,多选比单选更有价值
虽然选择题型在分析结果上轻松,但是在用户体验上缺乏对参与者的关注,并且这对最后的数据结果存在一定的影响。
此外,当选项中涉及“其他”选项时,参与者会计算答题成本,很大程度上会选择“其他”选项。
因为选择“其他”会比反复斟酌另外一些答案要来的更容易些(正向陈述效应)。
而加入“其他”选项的唯一好处也许就是可以避免选择困难症的发生,但是对于数据来说这是虚有其表的选项。
另外还有一种选择形式是封闭式和开放式相结合,如下图:
前几个都是固定,会在最后提供一个可填写的选项,这类题型的优点在于可以获取除现有选项以外的补充信息,但是对于后期统计数据来说容易出现偏差。
➡️评分类问卷:最常见的评分类问卷是李克特量表(Likert Scale),也就是我们平常见到的评分表。
通过李表获得的数据结果,常常被统计分析成NPS净推荐值,本篇文章第二部分将会介绍如何分析NPS净推荐值。
评分表主要有两种结构,一是单极结构,常见的形式是0~10的定级,如下图。
二是双极结构,常见的为非常不满意~满意~非常满意。
目前市面上常见的评分表主要出现在“满意度调查类”中,并且常常将单极结构的数字形式和双极结构的文字形式相结合来展现,如下图。
由于每个人对评分的定级不同,比如对健康的评定,A认为7为亚健康,B认为7为健康。
因此在设计评分量表时,建议引入“标准点”的方法来限制评分带来的异质性问题。
➡️排序类问卷:需要参与者对偏好进行排序,是对排列选项定义优先级的一种封闭式排序表。
由于排序表选项内容偏多,参与者理解难度会加大,因此在设计时,建议将内容作分点提问,可以降低参与者的认知和理解成本,如下图。
拆分提问形式之后如下图。
将问题拆分提问,同样可以实现优先级定义
大多数情况下,调研人员所需要的答案仅仅只有最优的前三类选项而已。
随着互联网问卷的出现,交互形式越来越多样,现在的排序表已经摆脱了传统的排序展现形式,如下图。
更高效、更直观的排序表让用户在操作上的认知降至最低,通过简单的拖拽操作即可将所有选项进行优先级排序。
看到这里,许多读者会疑惑:评分表和排序表很像,他们的区别在哪?
二者的不同之处在于:
- 前者的答案需要对选项进行非同级比较,且答案是唯一性的;
- 后者则需要为每一个选项的偏好程度进行打分/排序,是一种同级比较的形式,答案往往有多个
开放式题型的优点是能够更好地收集参与者天马行空想法,帮助研发人员开阔看待产品的视角。
不过由于太过开放,因此其劣势也比较明显:
- 开放式问卷对内容的把控力度较差,后期数据分析会比较复杂;
- 参与者所回复的内容不可控—专业术语、不同名词定义等。也许会和用户的认知形成偏差,从而导致问卷描述出现问题。
笔者建议开放式问题可以放在最后作为补充选项,并设置为选填机制。
常见的开放式问卷形式较为单一,市面上常见的展现形式主要是填写类问卷。
填写类问卷又分为基础信息类填写和扩展内容填写:
➡️基础信息填写都是一些用户名、联系方式、地址这些内容,一般情况下这些填写内容涉及到了个人隐私,建议设计者设置为选填机制,如下图。
当然部分内容可设置为强制必填,比如疫情期间的“姓名+身份证识别”这种相互绑定的形式。
➡️扩展内容填写一般都是留在最后,比如您目前对公司还有哪些意见或建议、您对xxx的意见如何等,这部分内容多为选填形式,如下图。
3.4问卷构成要素
知悉了问卷调研活动的核心内容—题型后,接下来我们可以对整体问卷进行包装,方便后续进行渠道投放。
同时,经过包装的问卷可以让用户清楚地知道本次调研的背景和目的,在一定程度上抵消了一部分用户被提问时的抵触心理。
问卷构成要素包括以下内容:
致辞页、问卷背景说明、激励措施、调研目的这些内容常常被放在问卷的第一页,作欢迎、致辞之用。
建议在此页中可以适当地加入保密协议(勾选形式),告知用户本次问卷所涉及的全部内容仅作为内部调查,绝无外泄的情况发生,请参与者放心填写,缓解参与者在填写时可能会产生的顾忌心理。
其次是问卷主干,也就是前文提到的问卷编撰模块,建议总长控制在16-20题,采用单选、多选、开放式填写的顺序进行问题展现。
原则上建议整体问卷的排序应该是先易后难,一些基础的内容可以放置在问卷最上方,中部区域设计成核心问题的解答,最下方的部分可以置入开放式问题和一些可选的敏感问题,具体问卷题型展现详见下方链接。
(以20题为例)
把无需用户过多思考且对问卷有帮助的问题设置在前3项,诸如获取渠道、下载平台等,可以起到引题、活跃作答气氛的效果;
核心问题放在4~16,建议以封闭式选项为主,切忌不要出现主观引导的题干,比如“公司认为xxxx,请问您是否认同”这样偏主观引导性的题目,这样的答案对于最终数据分析来说毫无意义;
开放问题建议放在17~18,此类问题是用户自主发出,这些是本次问卷当中最具价值的问题。
隐私问题建议放在内容最后19~20,诸如联系方式、性别、收入等以选答的形式出现;
封底是感谢页,感谢参与者填写问卷的提示语作为本次问卷的结束致辞。
如果有报酬激励措施,建议在这页上加入提示语,如“感谢您的参与,100积分将于三个工作日内发送至账户,届时请注意查收”。
针对17~18题,一定需要经过精心设计,主要针对问卷前段没有涉及到的问题,交给用户自己进行扩展补充。
虽然后期数据统计工作量会稍大,但是相信所获得的价值是不菲的;
如果有报酬激励措施,建议在封底页上加入提示语,如“感谢您的参与,100积分将于三个工作日内发送至账户,届时请注意查收”。
关于上述顺序,笔者在腾讯问卷上作了样本参考,诸位读者可以复制该链接在新页面中打开。
https://wj.qq.com/s2/7320973/5663/
样本将采用银行内容作为载体。世界上最早采用问卷调研的是德意志银行,因此银行的例子会更具代表性。
补充|预测试
在开始投放之前,如果有条件的调研人员可以进行一场预测试,防止问卷在投放过程当中出现一些不必要的问题。
诸如题干不明确、投放渠道出错、问题的交互逻辑混乱等。
最简单的预测试对象莫过于邀请同事参与,这里要注意所邀请的人员尽量挑选一些符合用户画像的同事参与。
因为符合用户画像的同事可以确认问题是否简单易懂,可以直接帮助问卷提升作答效益。
当然“出声思维”是个不错的测试方法:
它适用于任何的预测试活动,可以高效地获取在预测试的过程当中所遇到的问题,从而快速定位、快速解决。
关于出声思维将会在后续的《可用性测试》文章当中详细描述。
最后将获得的预测试的数据进行预分析,虽然是预测试数据,但是分析方法和过程对于正式测试来说一模一样。
这有助于我们提前发现所获得的数据漏洞并加以优化,防止在正式分析的时候出现纰漏。
一篇文章搞定问卷调研(下)
题接上文:
在上篇文章当中,笔者重点介绍了问卷的概念、适用场景,以及大篇幅地描述了问卷的编撰细节,针对一些常见的问卷题型进行了细致拆解。
话不多说,接下来进入《问卷调研》第二部分正文……
4.问卷发放渠道及回收形式
问卷的发放形式有很多,诸如纸质问卷、电子邮件、电话询问、互联网问卷等。
纸质问卷是最传统也是最基础的形式,通常是基于面对面的调研场景,因此会适当地加入用户访谈成分(前提是以问卷调查为主要调研活动)。
电子邮件问卷是依赖互联网的一种传统问卷形式,星巴克就经常采用电子邮件的形式,作为顾客消费商品之后的满意度调查回访。
目前仍然有部分企业会采用电话询问的形式,比如10086就经常通过电话回访对消费者进行相关的问卷调查,并在后续通过短信的方式邀请顾客对本次服务作出评价。
相比之下,互联网问卷形式就高效便捷了很多:
它是基于互联网进行传播的问卷形式,比电子邮箱问卷更便捷、更高效,同时互联网问卷也是当今时代下利用最频繁的问卷投放形式。
那么下面我们就来详细聊聊,关于互联网问卷又有哪些需要注意的内容呢?
首先,利用互联网进行投放的最大好处是高效便捷性;
其次,是互联网投放的成本低廉,借助一些投放平台可以在短时间内将内容投放至目标用户身上,这是任何问卷形式所无法取代的优势;
并且,基于开发技术,填写问卷的交互体验更加新颖和友好,比如对问题的父子级关系展示,能够允许问卷衍生出更多复杂的逻辑关系;
此外,进度指示可以直观地告诉用户目前表单所填进度,缓解用户焦虑的情绪,避免参与者提前退出答卷的情况发生;
而且,问卷格式的统一性,对于后续数据的导出和处理分析更加方便;
最后,在问卷统计分析阶段,部分问卷平台可以直接展现分析结果,节省了人工手动输入统计并分析的环节。
像问卷星、腾讯问卷等,在完成问卷回收之后,都会给予调研人员导出数据的功能。
甚至可以直接省去导出步骤,直接在平台上进行数据分析,直接查看最终结果即可。
不过,利用平台上可以运算一些简单的数据分析结果,一旦涉及到复杂的或者专业的数据分析,建议还是采用专业的分析模型/软件进行操作。
诸如SPSS、R语言、SynCaps等专业的统计软件,这些都可以帮助研发人员节省大量的时间成本。
5.注意事项和规避方法
同任何调研活动一样,进行问卷调研活动也需要注意相关的影响因素。
➡️以下罗列了一些问卷调研当中需要注意的事项和规避方法:
- 避免模糊词汇,要明确地表述句义,做到措辞的准确无误,切忌模棱两可的表述情境;
- 避免复合问题的设计,也就是在一个问题当中设计多个提问点,这会让参与者在回答时,不知道回答哪个方向的内容,从而产生数据偏差。
如果篇幅不限,建议将多点问题拆开提问,如下图所示;
- 切忌在题干中加入主观观点。在题干中应避免涉及引导性词汇,不要在描述中加入出题人的主观观点或是想法,
比如您对“我们部门内每个职位的分工和职责都很明确”是否认同?往往员工碰到这类问题只能选择是,这就产生了正向陈述效应;
- 对敏感问题的把控。
可以采用匿名的形式展开对敏感问题的提问,或者设置为可选,将是否填写的权利转交给参与者。
建议在问卷的最后部分再加入敏感问题,这样可以避免问卷被提前终止的情况发生。当然最好的解决办法就是尽量避免涉及敏感问题;
- 提问需要保持简洁。
往往问卷的内容篇幅很长,参与者在填写时很容易产生焦虑心理,此时借助有效的视觉美化和排版可以在一定程度上缓解负面情绪。
如果美化之后依然冗余,建议对大问题进行拆分处理,如上文提到的“排序类问卷”例子。
再者可以将问题进行细分,分配给不同的参与者,通过多个参与者回复某些问题,最后进行问题合并为同一类数据的方式进行提问;
- 提前构建用户画像,保证问卷所投群体的准确性,减少无效问卷的产生;
- 问卷次序内容的设计上要符合逻辑关系。
比如A-1和A-2的父子级逻辑,要保证出现先后的顺序。
➡️问卷设计的过程当中,同样会涉及部分心理学知识。
以下罗列了一些常见的问卷心理学:
- 选择偏倚。
选择偏倚的产生主要在前期人员的筛选上。
为了节省成本往往不会考虑利用用户画像去锁定用户群,反而去原先数据库里面选择用户,也就是访谈人群重复利用。
访谈用户的重复利用显然是低成本高效性的,但是获取的数据可能存在误差,这就是选择偏倚。
比如研发人员想调研产品投放至市场的占比情况,但是为了节约成本,将目标用户锁定为目前正在使用本产品的用户,并进行问卷投放,那么最终数据只能是本产品用户所提供的数据,并不能反映出当下市场占比的数据情况。
如果想要让问卷的普适性更广,建议加入第三方投放渠道,可以是社群、线下纸质问卷等多种形式,渠道越广,对所收获的普适性数据准确度就越高。
- 无应答偏倚。
顾名思义,就是问卷投放之后无人应答,有很多的因素会导致无应答的情况发生,诸如渠道限制、目标用户范围局限、时间短、问卷理解难度稿等。
因此需要通过各种手段来激励用户填写—答卷时间长短、激励措施、适当的问卷提醒等方式,增强被作答的机会。
- 正向陈述效应。
这是一种决策倾向,指回复者回答问题时,更倾向于选择正向陈述的选项,并在这类反应中投入较少的认知努力。
这个倾向适合用在问卷的一开始,做一些简单的热场活动较为合适。
当然在用户遇到一些选择困难或是难度较高的问题时,用户也会产生这个效应,比如前文提到的“是否认同”例子。
为了缩短思考时间甚至是不思考,用户会下意识地去选择自己能第一时间回答出来,或便于理解的答案。
在电话调查当中,正向陈述最容易发生。
因为其答案选项的出现顺序是一种线性方式,用户往往会选择认知中最简单的选项作答,因此大部分用户会直接选择前几个选项(易于认知)或是最后几个选项。
最真实的例子就是打10086电话客服的时候,通常都是按照1234…的顺序来播报问题选项/答案,很多的用户当听完所有的选项之后,往往会忘记前几个选项是什么(7±2法则)。
因此用户往往会根据所听到的顺序描述选择一个就近的,“自认为”最符合正向陈述效应的答案,从而忽略后续未播报的最佳答案。
- 默许偏差。
是指双重问题和引导性问题容易产生默许偏差,也就是部分问题的回答,用户倾向于同意他人的说法或做法。
比如在问卷中引入某个教授或是专业人士观点,会导致参与者从众心理的产生,甚至为了自身的尊严被迫去选择自己所讨厌或不确定的答案,这就是从众效应。
从众效应分两种:一种是规范性影响,另一种是信息性影响。
当个体缺乏自信时,从众现象就会增加:
1.规范性影响:
背离社会规范会导致拒绝,而“与众人保持意见一致”将提升或保持自己的被接纳性,
比如人们处在法治社会下的所有行为都收到了法律保护和约束,这就是基于规范性影响。
2.信息性影响:
我们赞成他人,可能仅仅只是因为我们认为专家更懂得什么是正确的选择。
比如学生对于老师所教授的专业知识的权威性认可。
6.数据分析和结果说明
在一开始“确定问卷目标”部分,笔者给出应该先明确数据分析方法的观点。
这样能够确保通过问卷收集到解决问题的数据,采用反推法对于问题解决的有效性可以说大有裨益。
这样既可以明确问题也可以高效地解决问题,因此提前选择好数据的分析方法可以为后续数据分析保驾护航。
本小节主要介绍关于“问卷调查满意度—NPS净推荐值”的数据分析方法:
NPS净推荐值和异质性差异分析
NPS(Net Promoter Score),净推荐值,又称净促进者得分,也就是我们常说的口碑概念。
是计量某个用户将会向他人推荐产品、企业、服务(以下简称产品)可能性的指标。
相对而言,NPS是目前为止最流行的用户忠诚度分析指标,专注于用户评价如何影响产品成长。
对于NPS而言,在原始数据的获取上一般采用“评分表“作为获取数据的有效途径。
设计师日常所用的Adobe系列软件就会弹出评分量表弹框,如下图。
根据愿意推荐的程度让用户在0~10区间打分,然后调研人员根据得分情况建立用户忠诚度的3个范围区间:
推荐者,得分在9-10,具有狂热忠诚度。此类用户会继续购买并具备强烈推荐意愿给其他非产品用户使用的人群。
被动者,得分在7-8,总体满意但并不忠诚。购买时会考虑其他竞品、市场环境等因素作出理性判断的人群。
贬低者,得分在0-6之间,使用之后并不满意或者说对产品没有忠诚度的人群,此类人群甚至会去怂恿他人拒绝使用该产品。
如2020年疫情在家隔离期间,网课的盛行伴随着学生人群对钉钉的强烈抵制情绪。在这个例子当中,学生人群就是贬低者。
具体的计算公式为:
最后,根据计算结果测算出NPS的得分值在50%以上时,则被认为是优秀的产品;
如果NPS的得分值在70-80%之间,则表明产品拥有一批高忠诚度的用户。
由此可见,NPS对于产品的成长来说是一个非常重要的指标,其数据分析模型以消费者为核心,可以直观地反映出产品在用户心中的满意度和忠诚度。
根据2020年发布的《2020银行业NPS白皮书》可以直观地看出:
六大行中,NPS平均值为26%,建设银行以29%的推荐值位居第一,和均值仅差3%;
众多股份银行中,平均值为28%,招商银行和平安银行分别以44%和43%的净推荐值位居第一和第二,远超均值15%以上;
而地区银行中,平均值为19%,江苏银行以34%博得第一,差距在15%。
通过上图简单的数据我们可以得出大概的结论:
股份银行的NPS均值更高,因此被用户推荐的机会反倒会比六大行和地区银行更多,其中招商和平安更以其独有的特性(服务、业务等)远超均值。
由此可以证明,股份银行的服务体系会比六大行的服务体系更加完善,更贴近“以消费者为中心”的服务理念,能够得到更多用户的青睐,而招商和平安更是其中的佼佼者。
地区银行由于数量较多,良莠不齐,富人越富穷人越穷,满意度良莠不齐。
这和其用户在银行的主要目的有重大关联—以业务为导向,而非服务为导向,也就是我们常说的“产品初创期”的目标。
所以地区银行在后期的业务发展和服务条件上还有待进一步提高。
最后需要注意一点,在得出了关于NPS的最终数据之前,需要留意每位用户对评价的标准不一,这在一定程度上会让影响数据的准确性。
正如前文所述:用户对健康的评定,A认为7为亚健康,B认为7为健康,判定标准不一致会导致实际结果出现偏差。
因此加入“异质性评判差异点”,也就是引入“锚点”可以让数据更接近实际情况。具体分析如下:
首先,我们需要结合产品数据,预设一个评分基准,本例中假定为9(数值可以通过第一轮初略评分得出一个均值,也可以采用其他渠道内部预设);
然后我们在评分量表的评分表前加入一段新题干,描述可以是
在对xx产品的推荐评分中,您认为几分(含)以上算是推荐等级
选项同样是0~10。最终问卷展现如下图。
⬆️图片01中所得数据为用户评分基准,02中所得数据为用户原始评分
根据公式:
将所得的数据代入,就可以得出单次调研问卷的NPS净推荐锚点值。
根据图片参考数据计算得出如下结果:
9/10=x/9
得:x=8.1
最终所得NPS净推荐锚点值为8.1分。
该值会比常规的净推荐值更贴近实际情况,对于调研活动来说更加具备实际参考意义。
⚠️为了数据结论的严谨性,建议在研究结果的最后加入“只代表具备产品使用经验的用户,不代表……”等一些补充说明,预防在职能部门之间沟通所产生的信息沟壑,向阐述对象表明研究结果的局限性。
毕竟市场中很多研究数据结论都处于“需要进一步论证”的调研状态。