过拟合和欠拟合

图解欠拟合和过拟合

1）横轴为训练样本数量，纵轴为误差

欠拟合：高偏差
过拟合：高方差
2）横轴为模型复杂度，纵轴为误差

A：欠拟合；C：过拟合；B：模型正常
3）横轴为正则项系数，纵轴为误差

降低过拟合的方法

1）重新清洗数据，数据不纯会导致过拟合，此类情况需要重新清洗数据
2）数据增强（增加训练样本数量）
图像：平移、旋转、缩放
利用生成对抗网络（GAN）生成新数据
NLP：利用机器翻译生成新数据
3）降低模型复杂度
神经网络：减少网络层、神经元个数
决策树：降低树的深度、剪枝
4）权值约束（增大正则项系数）
L1 正则化
L2 正则化
4）集成学习
神经网络：Dropout（在训练的时候让神经元以一定的概率不工作）
决策树：随机森林、GBDT
5）提前终止
6）减少迭代次数
7）增大学习率
8）添加噪声数据

降低欠拟合的方法

1）加入新的特征
交叉特征、多项式特征、上下文特征.
深度学习：因子分解机、Deep-Crossing、自编码器
2）增加模型复杂度
线性模型：添加高次项
神经网络：增加网络层数、神经元个数
3）减小正则化项的系数
添加正则化项是为了限制模型的学习能力，减小正则化项的系数则可以放宽这个限制
模型通常更倾向于更大的权重，更大的权重可以使模型更好的拟合数据

最后如果转载，麻烦留个本文的链接，因为如果读者或我自己发现文章有错误，我会在这里更正，留个本文的链接，防止我暂时的疏漏耽误了他人宝贵的时间。