• 梯度下降
• 正规方程

• 实现梯度下降和正规方程解法的正则化

梯度下降

• 没有正则化项的梯度下降表达式

因为正则化的惩罚对象没有模型参数的0项，所以需要把它单独拿出来

达到的效果是，在把缩小一点点的同时，再加上梯度下降部分

正规方程

不可逆问题

正则化后的这个矩阵一定不是奇异矩阵
因此进行正则化可以避免矩阵不可逆的问题