最小二乘线性回归(OLS)等价于极大似然估计
假设： 
• 其中ε为线性预测和真值之间的残差
我们通常假设残差的分布为 
，因此线性回归 可写成
其中
极大似然估计（Maximize Likelihood Estimator, MLE）定义为
表示在参数为
的情况下,数据
出现的概率, 选择数据出现概率最大的参数.
OLS的概率分布为
OLS的似然函数为
极大释然可等价地写成极小负log似然损失函数(NLL)
正则回归等价于贝叶斯估计
之前的线性回归正比于 
若假设参数w的先验分布为
即
其中
控制先验的强度
根据贝叶斯公式,得到参数的后验分布为
则最大后验估计等价于最小目标函数
对比岭回归的目标函数
若有收获，就点个赞吧
0 人点赞
