02.基本实验设计概念

在我们的第一个实验中，让60个人尝试两个网站，并表达他们的偏好，他们最喜欢哪一个。很简单。也许网站A是旧版本的网站，也许网站B是重新设计的新版本的网站。这样一个实验的设计考虑是什么?
首先，我们需要多少参与者?
我说60。这就足够了吗?是不是太多了?对大多数实验来说，简单的答案是越多越好。参与者越多，你的权力就越大，也就是说你能够发现你正在比较的事物之间的差异，但这取决于这些差异的大小。如果你比较的东西非常不同，那么你需要较少的实验对象。如果你比较的东西是相当相似的，你可能需要更多的对象（Subjects）。
通过在线实验，成千上万甚至数十万的实验对象是可能的。我们要小心一点。和足够多的人在一起，你总是可以察觉到差异，因为没有两件事是完全相同的。
事实上，即使你测试了相同的网站，相同的设计，相同的界面在成千上万的人面前。你很可能会看到仅仅因为测量误差和不同人之间测量的可变性带来的不同。
所以问问你自己，多少对象（Subjects）能说服你会带来不同?多少才算合理呢?如果你能在60个人身上发现差异那就足以让你相信统计上显著的差异也是实际的差异吗?我们必须牢记，统计意义与基于实际差异的实际意义是两码事。在每个实验中，至少有四个主要考虑因素。我把它们写在这里。

  • 正如我们刚才讨论的，我们必须考虑，参与者。
  • 我们要考虑仪器设备（apparatus）。
  • 我们还需要考虑实验过程。
  • 最后是设计，以及实验中要用到的分析工具。

抽样和抽样理论是一个深奥的话题，超出了我们当前课程的范围，但抽样涉及到我们如何从一个更大的群体中选择我们想要推断的研究对象。那就是得出结论。抽样有很多种。他们一般分为两类。概率抽样和非概率抽样。就像他们的名字听起来一样，概率抽样是一种技术，通常基于随机方法，从更大的群体中随机选择人。非概率抽样不那么依赖随机性，但使用的是另一种方法。
样本是受试者的集合我们想要推断出更大的总体，这就是统计检验的作用，我们想要了解受试者有哪些特征。他们被纳入我们的研究是否有特定的标准?
是否有排除标准意味着我们不会把他们包括在我们的研究中?
例如，在我们对60个人的研究中，他们表达了对一个或另一个网站的偏好，可能已经熟悉旧网站的人被排除在研究之外，所以我们对两个版本的网站都有了新的认识。这就是排除标准的一个例子。
在仪器方面，我们可以问我们在设备、空间和其他资源方面需要什么来进行研究?是在实验室里吗?
当他们进入研究时，他们实际经历了什么?它们执行任务吗?执行什么任务?执行多少任务?要花多长时间?把人关在实验室里超过一个小时是很难的，你当然要善待他们，不要让他们待太久，因为他们会开始累了，你会给你的研究带来疲劳效应。我们需要考虑学习吗?在我们开始测量我们想要计算的数据之前，他们是否提前练习了一些东西或者提前暴露了一段时间。例如，在我们的研究中，
他们在每个网站上做什么?他们只是进行了开放的探索，还是我们给了他们一些任务，比如可用性测试，让他们按照我们想让他们走的路线去做。所有这些都是关于研究过程的问题，最后和最后一个设计和分析。这是实验设计意义上的设计。我们使用的形式设计是什么?它的特征是什么，这对我们的分析意味着什么?我们还会讲到这些。现在，让我们想想如果进行我们讨论过的研究会是什么样子。
你要确保在研究结束时向参与者汇报情况。你告诉他们这是怎么回事，也许能让他们更了解其他参与者的表现，并称赞他们，感谢他们付出的时间和努力。