错误率
通常我们把分类错误的样本数占样本总数的比例称为”错误率”
m 个样本 a个分类错误 错误率:
精度
精度=1-错误率 精度=
误差
学习器的实际预测输出与样本的真实输出之间的差异
训练误差 经验误差
学习器在训练集上的误差称为:训练误差(training error)或经验误差(empirical error)
泛化误差
在新样本上的误差
过拟合
当学习器把训练样本学习的“太好”了的时候,会导致泛化性下降
也就是面对新样本,效果不佳 这种现象称为过拟合
过拟合:学新能力过于强大,不可避免,只能缓解
欠拟合:学习能力不足,加大学习
模型选择
现实中,往往有多种学习算法可供选择,甚至同一算法不同参数配置时,
也会产生不同模型。如何选择,即模型选择
理想的解决方案当然是对候选模型的泛化误差进行 评估 7 然后选择泛化误差最小的那个模型