错误率

通常我们把分类错误的样本数占样本总数的比例称为”错误率”
m 个样本 a个分类错误 错误率:2.1 经验误差与过拟合 - 图1

精度

精度=1-错误率 精度=2.1 经验误差与过拟合 - 图2

误差

学习器的实际预测输出与样本的真实输出之间的差异

训练误差 经验误差

学习器在训练集上的误差称为:训练误差(training error)或经验误差(empirical error)

泛化误差

在新样本上的误差

我们希望得到泛化误差小、错误率低、精度高的学习器
image.png

过拟合

当学习器把训练样本学习的“太好”了的时候,会导致泛化性下降
也就是面对新样本,效果不佳 这种现象称为过拟合

过拟合:学新能力过于强大,不可避免,只能缓解
欠拟合:学习能力不足,加大学习

模型选择

现实中,往往有多种学习算法可供选择,甚至同一算法不同参数配置时,
也会产生不同模型。如何选择,即模型选择

理想的解决方案当然是对候选模型的泛化误差进行 评估 7 然后选择泛化误差最小的那个模型