1. 回归指标

1. MAE(平均绝对误差)

回归、排序指标 - 图1

  1. - 特点:对数据分布的中值进行拟合,很好的刻画预测值与真值之间的偏差
  2. - 缺点:
  3. - 不适用于要求损失函数有二阶导数的模型(XGBLGB
  4. - 梯度始终较大(常数),当误差较小时不易得到最优解

2. MSE(均方误差)

回归、排序指标 - 图2

  1. - 特点:二阶可导,对大误差有更大惩罚
  2. - 缺点:对离群点敏感,健壮性不如MAE

3. Huber

回归、排序指标 - 图3

  1. - 特点:
  2. - 误差大时使用MAE,增强鲁棒性
  3. - 误差小时使用MSE,容易收敛到最优解
  4. - 缺点:需要调节超参数

2. 排序指标

1. MAP(平均准确率均值)

平均准确率:
回归、排序指标 - 图4
平均准确率均值:
回归、排序指标 - 图5

  1. - 特点:位置敏感
  2. - 缺点:仅考虑二元相关性(要么相关1,要么不相关0

2. NDCG(归一化折损累计收益)

累计收益:
回归、排序指标 - 图6
折损累计收益:
回归、排序指标 - 图7
理想折损累计收益:
回归、排序指标 - 图8
归一化折损累计收益:
回归、排序指标 - 图9

  1. - 特点:
  2. - 位置敏感
  3. - 相比MAP相关性只用0/1二值描述,NDCG相关性度量可分为多等级,使评分更丰富