建模之后我们要对模型进行评价,模型的预测能力如何,是否存在欠拟合或是过拟合,这些需要通过一些评价指标来判断,均方误差是我们用的最多的评价指标。在sklearn中有很多工具能够帮助我们进行模型评价
一些模型评价的基本概念
下面介绍一些模型评估的基本概念:
真实情况 | 预测结果 | 含义 | 统计量 | |
---|---|---|---|---|
正例 | 反例 | |||
正例 | TP(将正例正确预测为正例) | FN(将正例错误预测为负例) | TP + FN 表示实际数据集中正样本的数量 | 召回率Recall / 灵敏度Sensitivity / TPR = TP/(TP+FN), 漏诊率 = 1 - 灵敏度 |
反例 | FP(将负例错误的预测为正例) | TN(将负例正确的预测为负例) | FP + TN 表示实际数据集中负样本的数量 | FPR = FP/(FP+TN), 特异度(Specificity) = 1 - FPR = TN/(FP+TN) |
加和含义 | TP + FP 表示预测的正类样本数 | FN + TN 表示预测的负类样本数 | TP + FN + FP + TN 表示样本总数 | |
统计量 | 精确率Precision = TP/(TP+FP) | 正确率Accuracy = (TP+TN)/(TP+TN+FP+FN), 错误率 = (FP+FN)/(TP+TN+FP+FN), F-measure = 2(PrecisionRecall)/(Precision+Recall) |