线上线下准确率差距大?

example:奢侈品广告的投放问题(src: 《百面》P21)

  • 模型过拟合/欠拟合
  • 测试机和训练集划分不合理
  • 线上评估与线下评估的样本分布存在差异
  • 评估指标的选择
  • 等等…

    准确率

    定义评估指标:用哪些指标来衡量模型的好坏? - 图1,ncorrect:正确分类的样本个数、ntotal:总样本的个数
    缺陷:准确率是分类问题中最简单也是最直观的评价指标,但存在明显的缺陷。比如,当负样本占99%时,分类器把所有样本都预测为负样本也可以获得99%的准确率。所以,当不同类别的样本比例非常不均衡时,占比大的类别往往成为影响准确率的最主要因素。example:奢侈品广告的投放问题(src: 《百面》P21)

精确率(Precision)与召回率(Recall)的权衡

  • 精确率定义:评估指标:用哪些指标来衡量模型的好坏? - 图2,指的是所有被判定为正类(TP+FP)中,真实的正类(TP)占的比例
  • 召回率定义:评估指标:用哪些指标来衡量模型的好坏? - 图3,指的是所有真实为正类(TP+FN)中,被判定为正类(TP)占的比例