监督学习
1.回归算法:
用来建立自变量X和观测变量Y之间的映射关系，如果观测变量是离散的，则称其为分类Classification；如果观测变量是连续的，则称其为回归Regression。
回归算法的目的
是寻找假设函数hypothesis来最好的拟合给定的数据集。常用的回归算法有：线性回归（Linear Regression）、逻辑回归（Logistic Regression）、多项式回归（Polynomial Regression）、岭回归（Ridge Regression）、LASSO回归（Least Absolute Shrinkage and Selection Operator）、弹性网络（Elastic Net estimators）、逐步回归（Stepwise Regression）等。
1.线性回归:LinearRegression 平方损失**
原理:
线性回归模型假设目标值与特征之间是线性相关,满足一个多元一次方程,主要对连续性变量预测.他的损失函数是平方损失(均方误差)函数.一般使用梯度下降的方法来找到使损失函数最小化的参数.梯度下降分为:批量梯度下降,随机梯度下降,小批量梯度下降
作用:
对大量的观测数据进行处理，从而得到比较符合事物内部规律的数学表达式。也就是说寻找到数据与数据之间的规律所在，从而就可以模拟出结果，也就是对结果进行预测。解决的就是通过已知的数据得到未知的结果。例如：对房价的预测、判断信用评价、电影票房预估等。
优点:思想简单，容易实现，对于小数据量、简单的关系很有效。建模速度快,不需要很复杂的计算,在数据量大的情况下依然运行速度很快.
缺点: 线性回归模型难以很好地表达高度复杂的数据。
岭回归(Ridge,RidgeCV)
岭回归是在线性回归模型的基础上添加L2正则化项,对特征权重惩罚.解决过拟合的问题.L2正则使所有的特征权重都趋向与0 但不等于0,这样做会使特征的信息损失一部分,降低了特征精度使回归系数更为符合实际的回归.如果惩罚力度太大会使特征变得没有意义.适合维度不高的数据处理
Lasso回归(LassoCV):
Lasso回归是对普通线性回归模型的不重要特征的惩罚,会使特征稀疏.他的损失函数就是在平方损失函数的基础上加上了L1正则.
多项式回归:
多项式回归模型适合处理非线性可分数据的回归问题,能够拟合非线性可分的数据，更加灵活的处理复杂的关系 .通过将一些特征组合的多次项看拟合出的最佳曲线是一条曲线,他的损失函数与一般的线性回归模型一样都是平方损失
与线性回归模型比较: 多项式回归模型可以拟合非线性可分的数据.可以处理比线性模型更复杂的关系的数据.但是假设函数需要仔细设计.
逻辑回归
逻辑回归模型是用来解决分类问题，是一种分类(根据概率进行分类)算法,不仅可以处理二分类问题也可以处理多分类.适用于标签Y取值是离散的情况.假设函数通过sigmoid函数映射到0-1区间利用极大似然估计参数来达到预测输出结果.损失函数是负对数函数.参数更新通过梯度下降的方法求得使函数最小的参数
优点:
速度快,计算量只与特征的数目有关。
模型的可解释性非常好，从特征的权重可以看到不同特征对最后结果的影响。
内存资源占用小，只需要存储特征权重等信息。
逻辑回归的抗噪能力比较强
缺点:
1. 若数据集是非线性的，逻辑回归并不能得到很好的结果。
2. 逻辑回归对极不平衡的数据集训练效果不好。
3. 逻辑回归对数据特征的分布和相关性要求相对较高。
逻辑回归本身无法筛选特征。
深度神经网络( Deep Neural Network)
神经网络模型由输入层、一个或多个隐藏层、输出层组成，每个层里有很多神经元。每个隐藏层有一个偏移量b。隐藏层中，每个神经元接受多个输入x，每个输入都有各自的权重w，每个神经元会基于这些x、w、b做出线性计算，再应用如sigmoid、ReLu等激活函数对结果进行非线性加工，得到一个输出。然后再把输出传给下个隐藏层中的一个神经元，作为该神经元的输入之一。这就是前向传播。所以在前向传播完成后，我们需要进行反向传播，通过求偏导，来一步步优化参数w和b。
若有收获，就点个赞吧
0 人点赞
