1. 回归指标
1. MAE(平均绝对误差)
- 特点:对数据分布的中值进行拟合,很好的刻画预测值与真值之间的偏差
- 缺点:
- 不适用于要求损失函数有二阶导数的模型(XGB、LGB)
- 梯度始终较大(常数),当误差较小时不易得到最优解
2. MSE(均方误差)
- 特点:二阶可导,对大误差有更大惩罚
- 缺点:对离群点敏感,健壮性不如MAE
3. Huber
- 特点:
- 误差大时使用MAE,增强鲁棒性
- 误差小时使用MSE,容易收敛到最优解
- 缺点:需要调节超参数
2. 排序指标
1. MAP(平均准确率均值)
平均准确率:
平均准确率均值:
- 特点:位置敏感
- 缺点:仅考虑二元相关性(要么相关1,要么不相关0)
2. NDCG(归一化折损累计收益)
累计收益:
折损累计收益:
理想折损累计收益:
归一化折损累计收益:
- 特点:
- 位置敏感
- 相比MAP相关性只用0/1二值描述,NDCG相关性度量可分为多等级,使评分更丰富