尝试
在原来的代价函数上添加部分惩罚内容,驱使参数 和 都非常小
此时,算法为了代价函数最小不得不迫使参数 和 都非常小,就好像直接去掉了两个参数
思想
简化参数模型
使得不容易出现过拟合现象
但是在众多特征值中,并不知道哪一个的影响性最小,无法针对性的调整参数
因此在代价函数后面添加了正则项,来缩小每个参数的数值
注意这里的 θ 是从 1 开始的,并没有给 添加惩罚项
约定俗成,实际上包含或不包含影响不大
目标函数可以分成两个部分
目标一:拟合,使得代价函数最小
目标二:正则化,使得模型参数较小
λ:正则化参数,意义是控这制两个不同目标之间的平衡
正则化后的曲线,不是二次函数,但会更加的平滑
参数
对模型参数的惩罚程度太大,导致除了,所有的模型参数接近于0
导致
用一条直线拟合数据(偏见性太强)
造成欠拟合