原文链接
正则化的本质很简单，就是对某一问题加以先验的限制或约束以达到某种特定目的的一种手段或操作。在算法中使用正则化的目的是防止模型出现过拟合。
LP范数
范数简单可以理解为用来表征向量空间中的距离，而距离的定义很抽象，只要满足非负、自反、三角不等式就可以称之为距离。
LP范数不是一个范数，而是一组范数，其定义如下：
𝑝的范围是[1,∞)。𝑝在(0,1)范围内定义的并不是范数，因为违反了三角不等式。
根据𝑝的变化，范数也有着不同的变化，借用一个经典的有关P范数的变化图如下： 
上图表示了𝑝从0到正无穷变化时，单位球（unit ball）的变化情况。在P范数下定义的单位球都是凸集，但是当0<𝑝<1时，在该定义下的unit ball并不是凸集（这个我们之前提到，当0<𝑝<1时并不是范数）。
那问题来了，L0范数是啥玩意？
L0范数表示向量中非零元素的个数，用公式表示如下：
我们可以通过最小化L0范数，来寻找最少最优的稀疏特征项。但不幸的是，L0范数的最优化问题是一个NP hard问题（L0范数同样是非凸的）。因此，在实际应用中我们经常对L0进行凸松弛，理论上有证明，L1范数是L0范数的最优凸近似，因此通常使用L1范数来代替直接优化L0范数。
L1范数
根据LP范数的定义我们可以很轻松的得到L1范数的数学形式：
通过上式可以看到，L1范数就是向量各元素的绝对值之和，也被称为是”稀疏规则算子”（Lasso regularization）。那么问题来了，为什么我们希望稀疏化？稀疏化有很多好处，最直接的两个：
- 特征选择
- 可解释性
L2范数
L2范数是最熟悉的，它就是欧几里得距离，公式如下：
L2范数有很多名称，有人把它的回归叫“岭回归”（Ridge Regression），也有人叫它“权值衰减”（Weight Decay）。以L2范数作为正则项可以得到稠密解，即每个特征对应的参数𝑤都很小，接近于0但是不为0；此外，L2范数作为正则化项，可以防止模型为了迎合训练集而过于复杂造成过拟合的情况，从而提高模型的泛化能力。
L1范数和L2范数的区别
引入PRML一个经典的图来说明下L1和L2范数的区别，如下图所示：
如上图所示，蓝色的圆圈表示问题可能的解范围，橘色的表示正则项可能的解范围。而整个目标函数（原问题+正则项）有解当且仅当两个解范围相切。从上图可以很容易地看出，由于L2范数解范围是圆，所以相切的点有很大可能不在坐标轴上，而由于L1范数是菱形（顶点是凸出来的），其相切的点更可能在坐标轴上，而坐标轴上的点有一个特点，其只有一个坐标分量不为零，其他坐标分量为零，即是稀疏的。所以有如下结论，L1范数可以导致稀疏解，L2范数导致稠密解。
从贝叶斯先验的角度看，当训练一个模型时，仅依靠当前的训练数据集是不够的，为了实现更好的泛化能力，往往需要加入先验项，而加入正则项相当于加入了一种先验。
- L1范数相当于加入了一个Laplacean先验；
- L2范数相当于加入了一个Gaussian先验。
Dropout
Dropout是深度学习中经常采用的一种正则化方法。它的做法可以简单的理解为在DNNs训练的过程中以概率𝑝 丢弃部分神经元，即使得被丢弃的神经元输出为0。Dropout可以实例化的表示为下图：
我们可以从两个方面去直观地理解Dropout的正则化效果：
- 在Dropout每一轮训练过程中随机丢失神经元的操作相当于多个DNNs进行取平均，因此用于预测时具有vote的效果。
- 减少神经元之间复杂的共适应性。当隐藏层神经元被随机删除之后，使得全连接网络具有了一定的稀疏化，从而有效地减轻了不同特征的协同效应。也就是说，有些特征可能会依赖于固定关系的隐含节点的共同作用，而通过Dropout的话，就有效地组织了某些特征在其他特征存在下才有效果的情况，增加了神经网络的鲁棒性。
若有收获，就点个赞吧
0 人点赞
