评估模型的局限性

1. 准确率、精准率、召回率的计算方法和局限性?

计算方法：

• 准确率(Accuracy)：所有正确被分类的样本占总样本数的比例
• 精准率(Precision)：被正确分类的正样本个数占分类器判定为正样本总数的比例

• 召回率(Recall)：被正确分类的正样本个数占真正正样本个数的比例

  https://blog.csdn.net/PingBryant/article/details/115561777
  局限性：

• 准确率：当不同类别样本比例不均衡时，占比大的类别会影响准确率

• 对每个样本使用单一的精准率和召回率都不能全面地衡量模型的性能，可以使用P-R曲线
• P-R曲线：纵轴是精准率，横轴是召回率

1. F1得分的计算方法

1. ROC曲线
2. 平方根误差：

• 回归模型：采取的评估方法一般是真实值和预测值的差值。RMSE,MSE,MAE等
• 问题：在回归模型中假如90%都是正确的，但10%为离群点时，RMSE误差也是很大的。

• 解决办法：(1) 若判定为噪声点，则在预处理时就去掉

  (2)若判定不为噪声点，可以将离群点进行建模，作为正常点放入初始样本
  (3)改变评估指标：MAPE(平均绝对百分比误差)将每个点的误差进行归一化，降低离群点的影响
  https://blog.csdn.net/FrankieHello/article/details/82024526