岭回归

问题

线性回归那一章，我们用最小二乘法求出来权值矩阵为

作为半正定矩阵，如果有逆，那么没有问题；如果没有逆，那么就不可以像这样直接求解
事实上，当样本总数远大于单个样本维数时，即n >> p时，这种“直接求解”的方法才有效
如果情况反过来，n << p，不仅方阵不会有逆，而且会造成数据的过拟合
一般碰见这种情况，有以下几种方法

• 直接使用梯度下降法
• 加数据样本
• 通过特征选择和特征提取来对数据进行降维（主成分分析，典型相关分析）
• 正则化（岭回归，Lasso回归）

正则化框架

定义：

其中还是原来的损失函数，为一个大于0的很小的常数，称为惩罚函数
岭回归和Lasso回归对惩罚函数有不同定义

• Lasso回归，
• 岭回归，

求解目标：

结果推导

令：

得：

由于，是单位矩阵，是半正定矩阵，所以是正定矩阵，一定有逆存在