优化条件
Logistic回归的目标函数为
梯度为
对比线性回归的梯度
形式看起来一样, 线性回归中的
Logistic回归中的
所有的线性模型都是变换这个f(x) 或者u(x)
二阶Hessian矩阵为
满足正定矩阵,是个凸优化问题,有全局极值点
优化求解
求目标函数
的极值点 即求导数
的根
根据牛顿法将导数
在
处进行泰勒展开:
去掉高阶无穷小部分得到
因此迭代机制为: 
也被称为二阶梯度下降法,移动方向
对比一阶梯度下降法
迭代加权最小二乘(Iteratively Reweighted Least Squares)
引入记号:
根据牛顿法
最小二乘的目标函数: 
解: 
加权最小二乘 
是权重矩阵
目标函数: 
解: 
迭代加权最小二乘中相当于权重矩阵
,但是权重矩阵S不是常数,而是依赖参数向量w,必须使用标准方程来迭代计算,每次使用新的权向量w来修正权重矩阵S
若有收获，就点个赞吧
0 人点赞
