前言

总结:为了招募合适的用户研究参与者,需要在不泄露研究目的的情况下评估人们的特征。

即使在已经清晰定义了目标受众的情况下,为用户研究招募合适的参与者也是一项挑战。虽然你几乎可以从任何一个用户那里获得某些启发,但是如果研究参与者和实际用户有相同的行为、兴趣和见解,你会获得更有意义的洞察结果。

一、使用筛选问题选出参与者

为了招募研究参与者,你应该通过询问筛选问题来评估他们的背景和特征。例如,如果你正在设计一个与在线游戏有关的网站,那么你可能需要对游戏感兴趣的研究参与者。为了评估这一点,你可以在招募时问他们一个简单的问题:「你玩网络游戏吗?」

但是如果筛选问题使得研究目的披露得过于明显,就可能会适得其反。如果人们可以很容易猜到研究的内容,那么有些人就会在回答时试图夸大其词,以便他们能够参与研究(从而在研究提供奖励的情况下获得报酬)。在研究招募的筛选过程中,「你玩网络游戏吗」这样的问题会清楚地暗示受访者:这项研究是关于游戏的。人们会很容易猜测,如果承认自己不玩网络游戏,他们就不太可能被邀请参与这项研究。

因此,筛选问题的设置有两个相互冲突的目标

  1. 引出关于用户的具体信息
  2. 避免透露关于这项研究的具体信息

同时达到这两个目标很棘手,但我们可以通过两个重要的、设置筛选问题的技巧来实现——开放式问题干扰项

二、开放式筛选问题

开放式问题要求人们用自己的语言回答,而非从预置的备选答案列表里选择。由于没有提供可选择的答案,人们就很难猜测到什么样的回答是「正确的」。

开放式问题可以用来引出参与者过去经历的细节。与其问调研对象是否玩网络游戏,不如问,「你上网会干什么?」再挑出那些提到游戏的人作为研究参与者。

开放式问题也有助于评估:

  • 需要排除的职业:如果你需要在研究中排除特定类型的人,那么相比使用包含了需要被排除的特定选项的多选题,用开放式问题会更好。例如,在不是为专家用户设计的情况下,最好排除那些工作与你正在评估的设计相关的人,因为他们的专业经验使得他们与普通用户差异太大。如果你正在评估一个关于旅行规划的网站,从事旅游业的人可能会与普通旅行者持有完全不同的观点。如果设置一个罗列着所有需要排除的职业的多选题,作答的准确性将依赖于人们对自己的工作是否被包含在这些职业之中的判断。相比起来,“你的职业是什么?”这样的开放性问题更有可能会得到准确的回答。
  • 经验或兴趣程度:如果你需要招募对某个话题非常熟悉的参与者,开放式问题可以引出真实的细节,从而告诉你受访者是否有相关经验。如果你问人们玩网络游戏的频率,一个每年只玩几次的人很容易言过其实,声称自己每周玩几次。但是,如果你让他描述一些他最喜欢的游戏,以及他为什么喜欢他们,你很快就能区分出可以立即列出许多游戏名称和细节的硬核玩家,和那些几乎记不住任何游戏的人(如果是他人通过访谈的方式来询问潜在参与者你编写的筛选问题,请要求他们将受访者对这些开放式问题的回答逐字逐句记下)。

然而,仅仅用开放式问题还不足以确保能有效地筛选参与者,因为它有一些严重的局限性。如果你招募的是具有某个非常特定的细分行为的人群,开放式问题可能无法引出相关信息,因为一些确实表现出该行为的人在回答一般性问题时可能不会提到它。此外,从纯粹的实用角度来看,无论是回答开放式问题还是收集和分析开放式问题的答案,都需要花费更多的时间。因为答案是自然文本,所以你需要通读每个受访者的陈述并评估它的意思。这个额外步骤在某些情况下是难以实现的(比如无主持人的可用性测试,这种研究设计通常是为了让人们在回答了筛选问题之后立即参与研究,没有时间让研究员回顾筛选问题的答案)。

image.png不要依赖“是或否”问题:
“未来你会考虑再次使用滑板车短租服务吗?”
image.png询问开放式问题,了解真实经历:
“请描述一下你上次租滑板车是什么时候。”

三、干扰项

多选题的答案可被即时评估,这使得它适用于无主持人研究的招募;多选题还能帮助你了解人们在开放式问题中可能不会想到要提起的特定行为。尽管如此,避免透露研究目的仍然很重要。为此,我们需要借用一下老师在多选题测试中使用的技巧:在答案选项中加入干扰项。干扰项是错误的选项,它通过用错误的答案将正确的答案包围起来,以达到伪饰正确答案的目的。好的干扰项看起来可能像是正确的答案——它们将有助于区分真正知道正确答案的人,和那些只是在猜测、并可能选择一个吸引人的干扰项的人。

你可以将干扰项纳入多项选择的筛选问题之中,在选项中包含你的目标回答和几个同样合理的答案。干扰项的内容应该是现实可行的:人们既可能完成相关活动,组织也可能以它们作为研究主题。例如,如果你在招募对滑板车租赁APP感兴趣的人,你可能会询问关于滑板车的问题,把步行、共享汽车和出租车等作为干扰项。但是悬挂式滑翔并不是一个好的干扰项,因为它显然不是一个合理的城市交通选择,也不是一种公司会需要研究的常见行为。

对于某些问题而言,允许人们选择多个答案是合适的。但请确保排除那些勾选了所有答案的受访者(特别是如果他们在好几个问题里都这样做的话)。勾选所有答案这种行为给出了一个警告信号,表明这个人可能过于渴望参与研究,选择那些勾选了较少答案的参与者会更安全。

如果你使用的测试平台只允许问一两个筛选问题,那么即便使用单个精心撰写且包含有效干扰项的筛选问题,也能有效地识别出那些与你的目标受众相匹配的潜在参与者。

如何用筛选问题为用户研究选出合适的参与者 - 图3不要设置容易猜测的多选题:
如果你需要去市中心的另一边,大约2公里远的一个地方参加会议,你会考虑采用以下哪种方式出行?
1. 步行
2. 悬挂式滑翔
3. 租滑板车
如何用筛选问题为用户研究选出合适的参与者 - 图4用有效干扰项掩盖研究主题:
如果你需要去市中心的另一边,大约2公里远的一个地方参加会议,你会考虑采用以下哪种方式出行?
1. 步行
2. 租自行车
3. 租滑板车
4. 叫Uber


总结

找到合适的研究参与者对于任何用户研究项目都很重要,但是当你需要从一大批普通用户中识别特定类型的用户时,选择的过程就会变得很关键。筛选问题在有时会尤为重要,特别当你正在寻找:

  1. 潜在的未来用户,他们现在还不是用户,但是将来可能会成为用户;
  2. 积极性高的用户,他们对某一特定主题或活动的兴趣十分强烈,拥有着与普通用户显著不同的知识和行为。

这些类型的用户往往是称心合意的目标受众,但仅通过多选题,往往很难准确评估出使这些受众真正具有价值的态度和经验。精心设计的筛选问题可避免受访者的夸大和猜测,并识别出那些真正匹配你的目标受众的用户。

附录

原文地址:https://www.nngroup.com/articles/screening-questions-select-research-participants/

版权声明
本文版权属尼尔森诺曼集团(Nielsen Norman Group)所有。欢迎转发至朋友圈,如需转载,请邮件Support@nngroup.com。未经授权的转载、翻译是侵权行为,版权方将保留追究法律责任的权利。