运营层面

对于监督学习，准确的数据标签是实现相关ML输出的关键因素。标签可以通过自动化流程或称为评估者的人员添加。“评估者”是一个通用术语，涵盖了各种背景，技能组合和专业化水平。评估者可能是：
· 用户：在产品中提供“衍生”标签，例如通过标记照片等操作
· 众包：通过众包工具为各种数据添加标签
· 训练有素的主题专家：使用专业工具标记医学图像等内容
如果人们明白你要求他们标注什么，为什么，以及他们有工具来有效地做到这一点，那么他们就更有可能正确地标记它。
关键考虑因素：
· 确保评估池的多样性
考虑池中人员的观点和潜在偏见，这些观点如何影响标签的质量。在某些情况下，为评估者提供培训以使他们减少偏见。
· 调查评估者的背景和激励措施
仔细考虑评估者的经验，以及他们如何以及为什么要完成这项任务。无聊、重复或不良的激励等问题，可能导致他们无法完成任务。
· 评估者工具
标签工具的范围包含从产品内提示到专用软件。在产品中征集标签时，请确保以便于用户提供正确信息的方式设计UI。

产品设计

在为专业评估者构建工具时，文章First：Raters提供了一些有用的建议，如下所示：
1.使用多个快捷方式来优化主流程
· 评估者经常使用键盘快捷键，选择文本和添加标签。比如，单词选择功能。它是一个流畅的过程，自动选择整个单词以加快突出显示。
· 当您开始为评估者提供多种方式来完成任务时，请考虑询问他们的想法。例如，他们帮助我们确定分组文本突出显示是一个有用的操作。经过漫长的一天手动分组后，我们的一位评估者有一个绝妙的主意，即选择一段文字并使用键盘快捷键自动分组所选区域内的所有高光。这使得她不必单独选择每个突出显示以对它们进行分组，从而减少了任务的有用时间。
· 提供对标签的轻松访问。全套可用标签应该是可见的，并且对于要求他们解决的每个项目的评估者都可以使用。UI中应该快速简便地应用标签。
· 让评分者改变主意。标签可能很复杂。为编辑和无序更改提供灵活的工作流程和支持，以便评估者可以寻求第二意见并纠正错误。
· 自动检测并显示错误。使用检查和标记可以轻松避免意外错误。
从评估者收集数据后，您需要进行统计测试以分析评估者之间的可靠性。缺乏可靠性可能表明您的设计指令设计不佳。