https://blog.csdn.net/Vodka_Lou/article/details/116083870

    前言
    在防止过拟合的方法中有L1正则化和L2正则化，那么这两者有什么区别呢？

    一、L1和L2正则化是什么？
    L1和L2是正则化项，又叫做惩罚项，是为了限制模型的参数，防止模型过拟合而加在损失函数后面的一项。

    二、区别
    L1是模型各个参数的绝对值之和。
    L2是模型各个参数的平方和的开方值。

    L1会趋向于产生少量的特征，而其他的特征都是0。
    因为最优的参数值很大概率出现在坐标轴上，这样就会导致某一维的权重为0 ，产生稀疏权重矩阵
    L2会选择更多的特征，这些特征都会接近于0。
    最优的参数值很小概率出现在坐标轴上，因此每一维的参数都不会是0。当最小化||w||时，就会使每一项趋近于0。

    三、其他问题
    为什么参数越小代表模型越简单？
    越是复杂的模型，越是尝试对所有样本进行拟合，包括异常点。这就会造成在较小的区间中产生较大的波动，这个较大的波动也会反映在这个区间的导数比较大。只有越大的参数才可能产生较大的导数。因此参数越小，模型就越简单。

    实现参数的稀疏有什么好处？
    因为参数的稀疏，在一定程度上实现了特征的选择。一般而言，大部分特征对模型是没有贡献的。这些没有用的特征虽然可以减少训练集上的误差，但是对测试集的样本，反而会产生干扰。稀疏参数的引入，可以将那些无用的特征的权重置为0。

    L1范数和L2范数为什么可以避免过拟合？
    加入正则化项就是在原来目标函数的基础上加入了约束。当目标函数的等高线和L1,L2范数函数第一次相交时，得到最优解。

    L1范数：

    L1范数符合拉普拉斯分布，是不完全可微的。表现在图像上会有很多角出现。这些角和目标函数的接触机会远大于其他部分。就会造成最优值出现在坐标轴上，因此就会导致某一维的权重为0 ，产生稀疏权重矩阵，进而防止过拟合。

    L2范数：

    L2范数符合高斯分布，是完全可微的。和L1相比，图像上的棱角被圆滑了很多。一般最优值不会在坐标轴上出现。在最小化正则项时，可以是参数不断趋向于0.最后很小的参数。
    假设要求的参数为θ，hθ(x)hθ(x)是我们的假设函数，那么线性回归的代价函数如下：

    那么在梯度下降法中，最终用于迭代计算参数θj的迭代式为：

    如果在原始代价函数之后添加L2正则化，则迭代公式会变成下面的样子：

    每一次迭代，θj都要先乘以一个小于1的因子，从而使得θj不断减小，因此总得来看，θ是不断减小的。

    来源：https://zhuanlan.zhihu.com/p/352437358
    主要参考：
    1、L1正则化方法（lasso）和L2（ridge）正则化方法的区别_王小白的博客-CSDN博客
    2、机器学习之 线性回归（ L1正则化（Lasso回归）+ L2正则化（Ridge回归））（五）

    1、L1正则化（Lasso回归）：
    L1泛数（L1 norm）是指向量中各个元素绝对值之和，也有个美称叫“稀疏规则算子”（Lasso regularization）。比如向量A=[1，-1，3]， 那么A的L1范数为 |1|+|-1|+|3|.
    线形回归的L1正则化通常称为Lasso回归，它和一般线形回归的区别是在损失函数上增加了一个L1正则化的项，L1正则化的项有一个常数系数alpha来调节损失函数的均方差项和正则化项的权重，具体Lasso回归的损失函数表达式如下：
    L1正则化和L2正则化的区别 - 图1
    Lasso回归可以使一些特征的系数变小，甚至还是一些绝对值较小的系数直接变为0，增强模型的泛化能力。
    Lasso回归的求解方法一般会有坐标轴下降法（coordinate descent）和最小角回归法（ Least Angle Regression），由于它们比较复杂，会单独介绍：。
    2、L2正则化（Ridge回归）
    线形回归的L2正则化通常称为Ridge回归，它和一般线形回归的区别是在损失函数上增加了一个L2正则化的项，和Lasso回归的区别是Ridge回归的正则化项是L2范数，而Lasso回归的正则化项是L1范数。具体Ridge回归的损失函数表达式如下：
    L1正则化和L2正则化的区别 - 图2
    Ridge回归在不抛弃任何一个特征的情况下，缩小了回归系数，使得模型相对而言比较的稳定，但和Lasso回归相比，这会使得模型的特征留的特别多，模型解释性差。
    Ridge回归的求解比较简单，一般用最小二乘法。
    L1正则化和L2正则化的区别 - 图3

    3、总结L1正则化和L2正则化：
    L1范数: 为x向量各个元素绝对值之和。
    L2范数: 为x向量各个元素平方和的1/2次方，L2范数又称Euclidean范数或Frobenius范数
    Lp范数: 为x向量各个元素绝对值p次方和的1/p次方.

    4、L1正则化和L2正则化的作用：
    （1）L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择；
    （2）L2正则化可以防止模型过拟合，在一定程度上，L1也可以防止过拟合，提升模型的泛化能力；
    （3）L1（拉格朗日）正则假设参数的先验分布是Laplace分布，可以保证模型的稀疏性，也就是某些参数等于0；
    （4）L2（岭回归）正则假设参数的先验分布是Gaussian分布，可以保证模型的稳定性，也就是参数的值不会太大或太小。
    在实际使用中，如果特征是高维稀疏的，则使用L1正则；如果特征是低维稠密的，则使用L2正则
    5、L1和L2正则先验分别服从什么分布 ？
    L1和L2正则先验分别服从什么分布，L1是拉普拉斯分布，L2是高斯分布。