什么是正则化

image.png
对于机器学习来说，从左到右看，我们的模型从训练集的噪音数据中学习了过多的细节，最终导致模型在未知数据上的性能不好。换句话说，从左向右，模型的复杂度在增加以至于训练误差减少，然而测试误差未必减少。正则化是选择模型的一种方法。正则化的目的是对学习算法做轻微的修改使得它泛化能力更强。正则化可以帮助我们从假设空间中找到这样一个模型：训练误差较低，而且模型复杂度也较小。正则化的作用是选择经验风险与模型复杂度同时较小的模型。在实际深度学习场景中我们几乎总是会发现，最好的拟合模型（从最小化泛化误差的意义上）是一个适当正则化的大型模型。

dropout

对于过拟合问题，使用最广泛的解决方案之一的就是dropout。