线上线下准确率差距大?
example:奢侈品广告的投放问题(src: 《百面》P21)
- 模型过拟合/欠拟合
- 测试机和训练集划分不合理
- 线上评估与线下评估的样本分布存在差异
- 评估指标的选择
- 等等…
准确率
定义:,ncorrect:正确分类的样本个数、ntotal:总样本的个数
缺陷:准确率是分类问题中最简单也是最直观的评价指标,但存在明显的缺陷。比如,当负样本占99%时,分类器把所有样本都预测为负样本也可以获得99%的准确率。所以,当不同类别的样本比例非常不均衡时,占比大的类别往往成为影响准确率的最主要因素。example:奢侈品广告的投放问题(src: 《百面》P21)
精确率(Precision)与召回率(Recall)的权衡
- 精确率定义:
,指的是所有被判定为正类(TP+FP)中,真实的正类(TP)占的比例
- 召回率定义:
,指的是所有真实为正类(TP+FN)中,被判定为正类(TP)占的比例
