尝试

image.png
在原来的代价函数上添加部分惩罚内容,驱使参数 【机器学习】正则化 - 图2【机器学习】正则化 - 图3 都非常小
image.png
此时,算法为了代价函数最小不得不迫使参数 【机器学习】正则化 - 图5【机器学习】正则化 - 图6 都非常小,就好像直接去掉了两个参数

思想

image.png
简化参数模型
使得不容易出现过拟合现象

但是在众多特征值中,并不知道哪一个的影响性最小,无法针对性的调整参数
因此在代价函数后面添加了正则项,来缩小每个参数的数值

【机器学习】正则化 - 图8
注意这里的 θ 是从 1 开始的,并没有给 【机器学习】正则化 - 图9 添加惩罚项
约定俗成,实际上包含或不包含影响不大
目标函数可以分成两个部分
目标一:拟合,使得代价函数最小
目标二:正则化,使得模型参数较小
λ:正则化参数,意义是控这制两个不同目标之间的平衡
image.png
正则化后的曲线,不是二次函数,但会更加的平滑

参数

image.png
对模型参数的惩罚程度太大,导致除了【机器学习】正则化 - 图12,所有的模型参数接近于0
导致
【机器学习】正则化 - 图13
用一条直线拟合数据(偏见性太强)
造成欠拟合