1、 回归评价指标

1.1 MSE(Mean Squared Error)

评价指标 - 图1

1.2 RMSE(Root Mean Squard Error)

评价指标 - 图2

1.3 R2(R-Square)

评价指标 - 图3
随着样本数量的增加,R-Square必然增加,无法真正定量说明准确程度,只能大概定量。

1.4 校正决定系数(Adjusted R-Square)

评价指标 - 图4
Adjusted R-Square 抵消样本数量对 R-Square的影响,做到了真正的 0~1,越大越好。

2、分类评价指标

2.1 准确率(acc)

评价指标 - 图5

2.2 精确率(precision)、召回率(recall)

评价指标 - 图6

评价指标 - 图7

2.3 F函数

F1值是精确率和召回率的调和均值
评价指标 - 图8

2.4 PR曲线

2.5 ROC曲线

  • 真正例率(TPR)
  • 假正例率(FPR)

ROC 曲线用于绘制采用不同分类阈值时的 TPR 与 FPR。

2.6 AUC(Area under curve)

AUC是一个模型评价指标,只能用于二分类模型的评价,AUC一般都大于0.5

AUC代表的是ROC曲线下的面积。对于样本分类不均匀的情况下,可以很有效的规避 这类问题。

eg:例如在反欺诈场景,设欺诈类样本为正例,正例占比很少(假设0.1%),如果使用准确率评估,把所有的样本预测为负例,便可以获得99.9%的准确率
但是如果使用AUC,把所有样本预测为负例,TPRate和FPRate同时为0(没有Positive),与(0,0) (1,1)连接,得出AUC仅为0.5,成功规避了样本不均匀带来的问题。

2.7 交叉熵误差

评价指标 - 图9