【问卷问题】使调查问题更清晰的七种方法 – MeasurementU - 图1
第一份问卷出现在 18 世纪中期(例如, “ Milles ” 问卷)。科学调查已经存在了将近一百年。

因此,有很多关于如何更好地进行调查的建议来源。每项调查的核心是向受访者提出的问题。除了针对特定调查的指南和建议外,编写好的调查问题还涉及许多良好写作的原则。

我们从多个来源审查了调查和问卷设计的建议、研究和指南,并将我们学到的知识与我们自己的研究和开展调查的经验相协调(参见文章底部的来源)。

许多建议和指南来自社会科学和政治舆论研究,通常包括敏感话题,或教育研究,侧重于知识评估。这些领域很少涉及工业研究调查,因此我们选择并修改了指南以更好地适应 UX 或 CX 研究人员的领域。

调查写作最重要的目标之一是与受访者进行清晰的沟通。以下是提高调查问题清晰度的七项建议。

1. 保持问题简短。

我们审查的几乎所有来源都建议问题简洁。长问题需要很长时间来处理,这增加了完成时间。我们(和其他人)发现调查完成时间是辍学的一个强有力的预测因素,因此研究人员有强烈的动机尽可能少地提出调查问题并保持问题简短。但是多短才算足够短,问题什么时候会变得太长?

文献包括一些建议的问题长度。例如,Johnson 和 Morgan (2016)建议将问题保持在 25 个单词以下,最早的建议之一(Payne,1951 年)建议问题少于 20 个单词。Peterson (2000)建议使用不超过三个逗号,而不是字数。

在受访者需要回忆不易记住的信息的情况下,越短越好的规则可能会有例外。有一些证据(在亲自管理的问卷上进行)表明,一些冗余(和冗长的问题)可以帮助回忆。

虽然我们不确定关于单词或逗号数量的指南在识别简洁性(未来研究的主题)方面的准确度,但我们确实认为通过删除多余的单词和连接短语来保持问题简短是一个好主意。检查超过 25 个单词的问题是有意义的,以确保所有单词都是必要的。

无论字数如何,保持问题简短的一种方法是删除不必要的单词。Dillman 等人提出的一些常见的罪魁祸首。(2014)包括

  • 由于以下事实:替换为因为
  • 在这个时间点:替换为现在
  • 如果条件是这样的: 替换为If
  • 考虑:替换为考虑

在问题写作方面,争取海明威而不是普鲁斯特

2. 使用简单的语言。

虽然简短很好,但简短简单更好。如果一个简单的词就行了,就在一个多音节的复杂词上使用它。此原则适用于问题主干和响应选项。

毕竟,减少单词的数量只是缩短句子的一种方法。另一个是减少音节的数量。说一个音节所需的平均时间约为 200 毫秒,所以说一个五音节词的时间是一个音节词的五倍。多音节词也难以阅读,因为它们通常不太熟悉且难以解码。标准文字处理器不提供音节计数,但有一些在线工具

我们最近对 UMUX-Lite 的研究提供了一个很好的例子,说明了使用更简单的单词的好处。有用性项目的原始措辞是 “系统的功能满足我的要求”(13 个音节)。我们发现更简单的 “系统的功能满足我的需求”(8 个音节)具有几乎相同的均值和频率分布,这表明我们可以通过更短、更简单的问题获得等效的测量结果。

一些消息来源建议假设为中学(6 至 7 年级)的阅读水平。这样做也将有助于使用非母语回答的受访者。

3. 偏爱高频词而不是低频词。

编写简单问题和响应选项的更具体方法是使用常用词。在一种语言中频繁出现的词更熟悉,往往需要较少的心理处理。相反,不太常见的单词需要更多的处理时间并导致理解度降低。不常用词和常见替代词的示例是

  • 利用与使用
  • 差异与差异
  • 富人与富人
  • 愤怒与愤怒
  • 认识与知道
  • 纠正与正确
  • 最优先与最重要

虽然您可能不知道单词的实际频率,但进行一些测试可能会发现对受访者来说很麻烦的单词。例如,系统可用性量表 (SUS) 中的第 8 项已经从 “我发现系统使用起来非常麻烦” 演变为“我发现系统使用起来非常笨拙”,因为研究发现一些参与者在“麻烦” 方面遇到了困难。

语言学中估计词频的传统方法是创建和分析文本语料库。很少有这些正式的语料库可以免费提供给研究人员,但您可以使用搜索引擎来估计相对词频

例如,2021 年 1 月 15 日,谷歌搜索 “笨重” 有 28,000,000 个结果,而 “尴尬” 有 169,000,000 个结果(大约是 6 倍)。“Utilize”有 627,000,000 个结果,“use”有 15,520,000,000 个结果(大约是受欢迎程度的 24 倍)。

4. 使用受访者的词汇。

用户体验研究人员经常调查特定人群而不是普通消费者。例如,在 MeasurementU 过去几个月进行的研究中,我们关注教师、学生、在线流媒体的日常用户、会议和活动策划者、IT 决策者、游戏玩家、汽车车队经理和 UXPA 成员。

一般来说,您需要避免作为研究人员可能熟悉但受访者不熟悉的行话(例如,价值主张、关键驱动因素、取悦者)。但是,如果您的目标受访者熟悉某些行话或术语,那么您需要匹配他们的词汇。这是Nielsen Heuristic #2的扩展,即 “说用户的语言”。

除非参与者理解,否则避免使用行话和技术语言,这样可以使问题更清晰。如果该调查是针对 IT 决策者的,您可能会使用 “身份管理” 和“信息安全”等术语。游戏玩家似乎有自己的语言,因此在某些情况下可能需要使用诸如 afk、lul、gg 和sus 之类的术语。当然,UX 研究人员会以不同于游戏玩家的方式解释SUS 。

5. 尽量减少缩略词的使用。

MVP 是最小可行产品还是最有价值球员?尽管首字母缩略词缩短了问题,但总有一些受访者不知道首字母缩略词代表什么。

当然,该指南也有例外。一些首字母缩略词被一组受访者如此频繁地使用,以至于它们已被接受。一些(不是很多)首字母缩略词是如此普遍理解,以至于您无需将它们拼写出来:US、NATO、SCUBA、RADAR。但是,一般来说,如果您发现自己使用首字母缩写词,请考虑将其拼写出来以提高清晰度。

6. 避免复杂的语法。

一些调查尝试将很多内容打包到一个问题中以减少问题的数量或使用不常见的语法来减少问题的长度。尽量避免语法结构过于复杂的问题。

例如,Tourangeau 等人。(2000)警告不要使用他们所谓的附加 wh 问题(从 who、what、when 或 where 开始)和嵌入从句的结构。

附加 wh 问题

以下 wh 问题虽然语法正确且少于 20 个单词,但很难处理:

您什么时候告诉您的客户代表您的软件许可证需要更新?

这是一个具有相同长度的语法更简单的版本:

您什么时候告诉您的客户代表您需要更新您的软件许可证?

第一个版本很复杂,至少有两个原因。首先,它具有花园小径句的特点:看起来 “your software license” 是动词 “tell” 的直接宾语,但实际上是从句的主语,与 “needed” 配对。其次,第二个从句是被动语态(下文讨论):动作的接受者(“许可”)出现在对其进行动作的动词(“更新”)之前,需要额外的认知处理才能理解。

嵌入条款

这是协议(李克特)量表项目的两个版本,有和没有嵌入条款。

我刚刚在这项研究中完成的任务很简单。

这个任务很简单。

在嵌入从句的版本中,主语和动词之间有七个词。在替代措辞中,动词紧跟在主语之后(更短更简单)。

左嵌入语法

同样,Lenzner 等人。(2010)建议避免左嵌入句法结构。当受访者在进入问题的关键部分之前必须通读许多形容词、副词和 / 或介词短语时,就会出现这种情况。考虑以下两个协议项。

使用左嵌入语法:

您在多大程度上同意或不同意以下陈述?

即使这会花费他们一些钱并可能使他们的代码更加复杂,因为 “规则” 是行业法规以及联邦、州和地方法律的复杂组合,Twitter 作为最具影响力的社交媒体平台之一,也应该遵守与行业指南。

没有左嵌入语法:

您在多大程度上同意或不同意以下陈述?

Twitter 作为最具影响力的社交媒体平台之一,应该遵守行业准则,即使这会花费他们一些钱并且可能会使他们的代码更加复杂,因为 “规则” 是行业法规和联邦、州和当地法律。

避免使用左嵌入语法的建议与避免隐藏线索(或 lede)的新闻实践类似:不要花太多时间来抓住重点。

7. Avoid passive voice.

This is one of the best-known writing guidelines. Ever since it appeared in Strunk and White’s (1959) Elements of Style, generations of writing students have struggled to avoid passive sentences. However, passive voice is part of the language for a reason. Although writing in active rather than passive voice is generally good practice, you should understand whether active or passive voice is the better choice.

Here’s a quick review of passive voice: (1) The object of an active sentence becomes the subject of a passive sentence, and (2) some form of the verb “be” appears before the main verb. If an object appears in a passive sentence, it does so in a “by” prepositional phrase after the verb. For example,

  • Active voice: This system met my needs.
  • Passive voice with object: My needs were met by this system.
  • Passive voice without object: My needs were met.

According to trace theory, a passive sentence requires more effort to parse because a reader or listener must process a trace that is in the passive version of the sentence, co-indexing the passive verb with its active-voice object (which was moved from its normal position following the verb).

When to use active voice

Unless there is a compelling reason to do otherwise, survey writers should use active voice. Passive voice often leads to wordier, weaker writing. Passive sentences rewritten as active can be as much as 40% shorter. Passive voice can be vague. When a sentence lacks an object, the writing can seem evasive, as if the writer is avoiding responsibility. Readers prefer technical documentation with reduced use of passive voice.

When to use passive voice

Passive voice is appropriate in some situations.

  • Emphasize the receiver of the verb when the performer of the verb is unimportant or unknown (“The ball was caught”).
  • Avoid the use of personal pronouns in scientific writing, although this practice has been changing (“The expected effect was not found”).
  • Avoid naming a responsible party (“Mistakes were made”).
  • Politely inform customers of something they must do (“Check-in must be completed 30 minutes before the flight”).

What about survey questions?

Consider the two versions of the item in Figure 1. They both have 10 words, but the version in active voice is easier to read.

【问卷问题】使调查问题更清晰的七种方法 – MeasurementU - 图2

Figure 1: Passive and active versions of an agreement item.

We couldn’t invent an example where passive voice was better than active voice in a survey question, probably because the situations in which passive is appropriate are rare when writing survey questions. There might be times when the focus of the question should be on the receiver rather than the performer of an action, but survey question writing is not scientific writing, and using passive voice to obscure responsibility isn’t consistent with clear writing.

When writing survey instructions (rather than questions), there may be times when passive voice could soften an otherwise harsh-sounding sentence. For example, here are active (socially direct) and passive (socially indirect) versions of the same message:

You must answer every required question to receive payment for participation.

To receive payment for participation, every required question must be answered.

Summary

To improve the clarity of your survey questions:

  • Keep questions short.
  • Use simple language.
  • Prefer high- over low-frequency words.
  • Use the respondents’ vocabulary.
  • Minimize the use of acronyms.
  • Avoid complicated syntax.
  • Avoid passive voice.

As UX practitioners, one of our goals is to achieve ease of use for the artifacts we design and evaluate, including the surveys we design and administer. It might be hard to measure the effect of any one of these guidelines on the respondent experience, but there is likely a cumulative positive effect across a large number of survey questions.

References

The Complete Guide to Writing Questionnaires by David Harris (2014).

Internet, Phone, Mail, and Mixed-Mode Surveys by Dillman et al. (2014).

Survey Scales by Johnson and Morgan (2016).

The Survey Research Handbook by Alreck and Settle (2003).

Designing Quality Survey Questions by Robinson and Leonard (2019).

Constructing Effective Questionnaires by Robert Peterson (2000).

Questionnaire Design by Ian Brace (2018).

Cognitive Burden of Survey Questions and Response Times [PDF] by Lenzner et al. (2010).
https://measuringu.com/clearer-questions/