1.使用sklearn构建完整的回归项目
1.1 收集数据集并选择合适的特征
1.2 选择度量模型性能的指标
1.3 选择具体的模型并进行训练
1.4 优化基础模型
1.5 对模型超参数进行调优(Hyper Parameter Tuning)
2. 使用sklearn构建完整的分类项目
2.1 收集数据集并选择合适的特征
在数据集上我们使用我们比较熟悉的IRIS鸢尾花数据集
from sklearn import datasetsimport pandas as pdiris = datasets.load_iris()X = iris.datay = iris.targetfeature = iris.feature_namesdata = pd.DataFrame(X,columns=feature)data['target'] = ydata.head()
| sepal length (cm) | sepal width (cm) | petal length (cm) | petal width (cm) | target | |
|---|---|---|---|---|---|
| 0 | 5.1 | 3.5 | 1.4 | 0.2 | 0 |
| 1 | 4.9 | 3.0 | 1.4 | 0.2 | 0 |
| 2 | 4.7 | 3.2 | 1.3 | 0.2 | 0 |
| 3 | 4.6 | 3.1 | 1.5 | 0.2 | 0 |
| 4 | 5.0 | 3.6 | 1.4 | 0.2 | 0 |
各个特征的相关解释：
- sepal length (cm)：花萼长度(厘米)
- sepal width (cm)：花萼宽度(厘米)
- petal length (cm)：花瓣长度(厘米)
- petal width (cm)：花瓣宽度(厘米)
2.2 选择度量模型性能的指标
度量分类模型的指标和回归的指标有很大的差异，首先是因为分类问题本身的因变量是离散变量，因此像定义回归的指标那样，单单衡量预测值和因变量的相似度可能行不通。其次，在分类任务中，我们对于每个类别犯错的代价不尽相同，例如：我们将癌症患者错误预测为无癌症和无癌症患者错误预测为癌症患者，在医院和个人的代价都是不同的，前者会使得患者无法得到及时的救治而耽搁了最佳治疗时间甚至付出生命的代价，而后者只需要在后续的治疗过程中继续取证就好了，因此我们很不希望出现前者，当我们发生了前者这样的错误的时候会认为建立的模型是很差的。为了解决这些问题，我们必须将各种情况分开讨论，然后给出评价指标。
混淆矩阵（Confusion Matrix）， 也称误差矩阵，是表示精度评价的一种标准格式，用n行n列的矩阵形式来表示。在人工智能中，混淆矩阵是可视化工具，特别用于监督学习，而在无监督学习一般叫做匹配矩阵（matching matrix）。
对于最常见的二元分类来说，它的混淆矩阵是2乘2的，如下：
- 真阳性（True Positive，TP）：预测值和真实值都为正例；
- 真阴性（True Negative，TN）：预测值与真实值都为正例；
- 假阳性（False Positive，FP）：预测值为正，实际值为负；
- 假阴性（False Negative，FN）：预测值为负，实际值为正。
分类模型的指标：
- 准确率（Accuracy）：分类正确的样本数占总样本的比例，即：
。 - 精确度（Precision）：又叫查准率。预测为正且分类正确的样本占预测值为正的比例，即：
。 - 特异度（Specificity）：表示所有负样本中，被真实预测为负的样本所占的比例。
- 召回率（Recall）：又被称为敏感度（Sensitivity），真正率，查全率。预测为正且分类正确的样本占类别为正的比例，即：
。 - F1值：综合衡量精度和召回率，即：
。 - ROC曲线：以假阳率为横轴，真阳率为纵轴画出来的曲线，曲线下方面积越大越好。
https://scikit-learn.org/stable/modules/model_evaluation.html#classification-metrics
ROC曲线内容补充
在信号检测理论中，接收者操作特征曲线(receiver operating characteristic curve，或者叫ROC曲线)是坐标图式的分析工具，用于
(1) 选择最佳的信号侦测模型、舍弃次佳的模型。 （在多个模型中寻找最佳的模型）
(2) 在同一模型中设定最佳阈值。（在模型里面找到该模型最佳的分类阈值）
ROC曲线是二值分类问题的一个评价指标。它是一个概率曲线，在不同的阈值下绘制TPR与FPR的关系图，从本质上把“信号”与“噪声”分开。
AUC-ROC曲线
即ROC曲线下的面积（Area Under the Curve）是分类器区分类的能力的度量，用作ROC曲线的总结。曲线下的面积越大，则分类器的效果越好，但是不会超过1。
由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。AUC越接近1.0，检测方法真实性越高;等于0.5时，则真实性最低，无应用价值。
绘制ROC曲线实例
data.target.value_counts()
2 50 1 50 0 50 Name: target, dtype: int64
数据集里面有3个类别，我们取类别{0, 1}来做演示
from sklearn.linear_model import LogisticRegressionimport numpy as npsubset_X = X[y!=2, 0, np.newaxis] # 对一维数据再添加一个维度，转换成二维数据subset_y = y[y!=2]model = LogisticRegression() # 这里我们用逻辑回归来进行二分类训练model.fit(subset_X, subset_y)
ROC曲线展示的是不同阈值对模型类型判别的影响。这里需要用到的是模型将样本点判为某个类别的概率。
比如模型对样本点 
的预测结果为：类别0的概率为0.74042769；类别1的概率为 0.25957231。当阈值设置为0.5的时候，那么样本点 的会被分到类别1；当阈值设置为0.8的时候，那么样本点 的会被分到类别0。依次类推，不同阈值会影响到每个样本点的分类结果，进而影响到模型整体的真阳性率和假阳性率。
所以ROC曲线本质是列出在不同阈值下，模型整体的真阳性率和假阳性率。
proba = model.predict_proba(subset_X)"这里返回的是每个样本点分类为类别0和类别1（按类别进行排序）的概率"proba
array([[0.74042769, 0.25957231], [0.84328088, 0.15671912], [0.91031582, 0.08968418], [0.9330694 , 0.0669306 ], … [0.2982251 , 0.7017749 ]])
用sklearn的 roc_curve 函数可以计算不同阈值对应的模型整体的真阳性率和假阳性率。
from sklearn.metrics import roc_curvefpr, tpr, thresholds = roc_curve(subset_y, proba[:, 1], pos_label=1)fpr, tpr, thresholds
(array([0. , 0. , 0. , 0. , 0. , 0. , 0. , 0. , 0. , 0. , 0. , 0.02, 0.06, 0.06, 0.1 , 0.2 , 0.22, 0.28, 0.44, 0.6 , 0.68, 0.78, 0.82, 0.9 , 0.92, 0.98, 1. ]), array([0. , 0.02, 0.06, 0.12, 0.16, 0.18, 0.22, 0.28, 0.32, 0.48, 0.52, 0.58, 0.68, 0.78, 0.88, 0.9 , 0.9 , 0.92, 0.94, 0.98, 1. , 1. ,
1. , 1. , 1. , 1. , 1. ]),array([1.99317967, 0.99317967, 0.98721167, 0.98251935, 0.97614691, 0.96752822, 0.95593597, 0.94046001, 0.92000351, 0.85908881, 0.81614076, 0.76370314, 0.7017749 , 0.63144898, 0.55505385, 0.47596497, 0.3980635 , 0.3250046 , 0.25957231, 0.20334482, 0.15671912, 0.11918496, 0.08968418, 0.0669306 , 0.04963502, 0.03663333, 0.02694084]))
将上面计算得到的真阳性率和假阳性率这2个数组，用折线图画出来，就是该模型的ROC曲线了。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
import matplotlib.pyplot as plt
%matplotlib inline
plt.figure(figsize=(12, 6))
plt.plot(fpr, tpr, 'b', label='ROC')
plt.plot([0,1], [0, 1], 'g')
plt.xlim([-0.01, 1.01])
plt.ylim([-0.01, 1.01])
plt.xlabel('False Positive Rate', fontsize=14)
plt.ylabel('True Positive Rate', fontsize=14)
plt.legend()
# plt.savefig('roc_curve.jpg')
plt.show()
如何在同一模型中设定最佳阈值（最优临界点咋么找）
简单来说，就是要保证TPR高的同时FPR要尽量的小，以此建立max（TPR+（1-FPR））的模型。
有三种方法：
- 找到离（0,1）最近的点
设
和 
别对应于sensitivity和specificity，距离
，求d的最小值。
- Youden index 约登指数
最大化ROC曲线上的点到x轴的垂直距离（最大化TPR()和FPR(1-)的差异）；
- 最小损耗（cost criterion）
考虑人力物力和财力（第三种方法很少用，因为很难评估）
编写约登指数函数
1
2
3
4
5
6
7
def Find_Optimal_Cutoff(TPR, FPR, threshold):
y = TPR - FPR
Youden_index = np.argmax(y) # Only the first occurrence is returned.
optimal_threshold = threshold[Youden_index]
point = [FPR[Youden_index], TPR[Youden_index]]
return optimal_threshold, point
代码引用自：https://blog.csdn.net/weixin_43543177/article/details/107565947
1 2optimal_threshold, point = Find_Optimal_Cutoff(tpr, fpr, thresholds) optimal_threshold, point
(0.5550538451732462, [0.1, 0.88])
1
2
3
4
5
6
7
8
9
10
11
12
plt.figure(figsize=(8, 8))
plt.plot(fpr, tpr, 'b', label='ROC')
plt.plot([0,1], [0, 1], 'g',linestyle="--" )
plt.scatter(point[0], point[1], color='r', s=100)
plt.text(point[0], point[1],'Threshold:%.2f'%optimal_threshold, fontsize=15)
plt.xlim([-0.01, 1.01])
plt.ylim([-0.01, 1.01])
plt.xlabel('False Positive Rate', fontsize=14)
plt.ylabel('True Positive Rate', fontsize=14)
plt.legend()
# plt.savefig('roc_curve_with_Optimal_Cutoff.jpg', bbox_inches='tight')
plt.show()
在本次小案例中，我们使用ROC曲线作为最终评价指标。
2.3 选择具体的模型进行训练
2.3.1 逻辑回归Logistic Regression
说到分类问题与回归问题的区别，在于回归问题与分类问题需要预测的因变量不一样。在回归问题中，因变量是连续性变量，我们需要预测 
是一个连续的实数，但是在分类问题中，我们往往是通过已知X的信息预测Y的类别，往往是一个离散集合中的某个元素。如：是否患癌症，图片是猫还是狗等。一个很自然的想法是能否用线性回归去处理分类问题，答案是可以但不好！先来看看线性回归处理分类问题会出现什么弊端，我们仔细来看这个线性回归的例子，
，只要输入Balance 和 Income 以及default的数据就能用最小二乘法估计出 
， 
，设定预测的default>0.5就是违约反之不违约，感觉很完美的样子，但事实真的是这样吗？假设我们需要用某个人的债务(Balance)和收入(Income)去预测是否会信用卡违约(default)：
- 问题（1）：我们假设有一个穷人Lisa,他的Balance和Income都很小，那么有可能会导致default的值为负数，那么这个负数代表什么意义呢？显然是没有任何意义的。
- 问题（2）：当我们的分类变量是多类的时候，以0.5为界限划分分类就不可用了，那么我们应该怎么找到一个界限衡量多分类呢？
基于以上问题，现在大家是否还觉得线性回归模型作为一个分类模型是否足够优秀呢？
其实，为了解决以上的问题（1）我们来想想能不能将线性回归的结果default转化为区间[0:1]上，让default转变成一个违约的概率呢？下面我们来解决这个问题吧。
在推导逻辑回归之前，我们先来认识下一组函数，这组函数具有神奇的作用，可以将实数轴上的数转换为[0:1]区间上的概率。 首先，我们假设我们的线性回归模型为 
，那么这个函数是如何将线性回归的结果转化为概率呢？这个函数就是 logistic 函数，具体的形式为 
，他的函数图像如下图：（左边是线性回归，右边是逻辑函数）
因此，我们假设逻辑回归模型为： 
。
下面我们来具体推导下逻辑回归模型：
假设数据Data 
。
设
。
因为y只可能取0或者1，因此假设数据服从0-1分布，也叫伯努力分布，即：当y=1时，
，当y=0时，
，可以写成 
，可以带入y=0和y=1进去验证，结果和前面的结论一模一样。
我们使用极大似然估计MLE，即：
记：
则：
因此，
。
由于这里涉及的函数不像线性回归一样能简单求出解析解，因此我们使用迭代的优化算法：梯度下降法，即：
，其中，
为第 
个样本第 
个特征。
如果想了解关于梯度下降法等无约束算法的具体细节，可以参照笔者写的另外两篇知乎博客：
最优化理论之无约束优化基本结构及其python应用：https://zhuanlan.zhihu.com/p/163405865 最优化理论之负梯度方法与Newton型方法：https://zhuanlan.zhihu.com/p/165914126
对于问题(2),我们值得注意的是，逻辑回归在实际中不太用于多分类问题，因为实际效果不是很好，所以我们可以借助其他模型来解决这个问题，那让我们来解决这个遗留下来的问题吧。
sklearn中使用逻辑回归实例
sklearn.linear_model.LogisticRegression(penalty=’l2’, *, dual=False, tol=0.0001, C=1.0, fit_intercept=True, intercept_scaling=1, class_weight=None, random_state=None, solver=’lbfgs’, max_iter=100, multi_class=’auto’, verbose=0, warm_start=False, n_jobs=None, l1_ratio=None)
常用参数：
- penalty ：{‘l1’, ‘l2’, ‘elasticnet’, ‘none’}, default=’l2’正则化方式
- dual： bool, default=False 是否使用对偶形式，当n_samples> n_features时，默认dual = False。
- C：float, default=1.0
- solver ： {‘newton-cg’, ‘lbfgs’, ‘liblinear’, ‘sag’, ‘saga’}, default=’lbfgs’
- l1_ratio ： float, default=None
```python from sklearn.linear_model import LogisticRegression
log_iris = LogisticRegression() log_iris.fit(X,y) log_iris.score(X,y)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
> 0.96
<a name="9b7SU"></a>
### 2.3.2 基于概率的分类模型
**（1）线性判别分析：**<br />线性判别分析是一个比较久远的算法，我将会从两个方向去描述这个算法，因为我觉得每位读者都有自己喜欢的那个理解的方向，分别是基于贝叶斯公式和降维分类的思想。
- **基于贝叶斯公式对线性判别分析的理解：**
在讨论如何解决多分类问题之前，我们先来说说贝叶斯的那些事吧。在概率统计的领域里有一条神奇的公式叫贝叶斯定理，具体的形式是： ，我们 先不要被公式的符号吓到，我们先来看看符号具体代表什么意思。我们假设观测有  类，为随机选择的观测来自第  类的 先验概率，也就是样本里面第  类的样本个数除以总样本的个数：。再来，表示第  类观测的X的密度函数，说的直白一点就是在  的样本里  的样本个数，即 ，最后， ，也就是样本中  的概率。
在讨论贝叶斯定理后，我们回到分类问题，这个定理跟我们的分类问题有什么关联呢？没错，这个公式 给出了给定样本条件下，  这个类别下的概率，这给分类问题提供了一条思路，那就是计算这个，而且我们的逻辑回归就是这么干的，但是在 这个公式中，分母  当样本给定的时候是一个与分类  无关的常数，所以我们的问题可以**简化为只需要计算分子  ,进而比较哪个类别的概率最大就知道属于哪个类别了**，因此我们的分类思路就出来啦，这个思路不同于逻辑回归，逻辑回归需要计算具体的概率值，而我们现在的思路是通过贝叶斯定理计算贝叶斯定理的分子，比较分子最大的那个类别为最终类别。
在我们推导复杂算法之前，我们先推导下简单的当自变量个数只有一个的模型，即  的简单模型。我们记 的分子为 。在这里，我们做个模型假设：假设  服从正态分布，即 ，而且每个 ，**同方差假设**。因此 ，最终我们的 ，终于算出来啦。这个式子不是很好计算，我们对  取个对数，令 ，到这里我们的模型建立模型，我们只需要把位置的  与  估计出来就好了。，也就是当  这一类中  的平均值；，说白了就是**计算每一类的方差，再求平均值**。总结下上面的公式就是：
至此，我们的模型就建立完成了，我们只需要代入数据求出 ，哪个  对应的  大，就是哪一类。<br />（下图虚线是线性判别分析的决策边界，正态曲线哪边高样本就是哪一类）<br /><br />我们推到出了一个自变量的简单模型，就要泛化为多个自变量的线性判别分析了，即  。其实原理一样的，只是将一元正态分布扩展为多元正态分布： <br /><br /><br />
- **降维分类的思想理解线性判别分析：**
基于数据进行分类时，一个很自然的想法是：将高维的数据降维至一维，然后使用某个阈值将各个类别分开。下面用图的形式展示：<br />图中，数据的维度是二维的，我们的想法是把数据降维至一维，然后用阈值就能分类。这个似乎是一个很好的想法，我们总是希望降维后的数据同一个类别自身内部方差小，不同类别之间的方差要尽可能大。这也是合理的，因为同一个类别的数据应该更加相似，因此方差小；不同类别的数据之间应该很不相似，这样才能更容易对数据进行分类，我们简称为：**类内方差小，类间方差大**，在计算机语言叫“**松耦合，高内聚**”。<br />在做具体的推导之前，我们对数据的形式和一些基本统计量做一些描述：<br />特征 ，因变量，其中， ，类别c1的特征 ，同理，类别c2的特征，属于c1类别的数据个数为 ，属于类别c2的数据个数为 ，其中， 。<br />特征X投影在w方向至一维：  ，<br />全样本投影的均值  <br />全样本投影的协方差 <br />c1样本投影的均值 <br />c1样本投影的协方差 <br />c2样本投影的均值  <br />c2样本投影的协方差 <br />类间差距：  <br />类内方差：<br />由于线性判别分析的目标是同一类别内方差小，不同类别之间距离大，因此损失函数定义为：<br />记：，因此<br />让对  求导等于0，求出： 
**在sklearn中使用线性判别分析的实例：**
> 参考api文档：
> [https://scikit-learn.org/stable/modules/generated/sklearn.discriminant_analysis.LinearDiscriminantAnalysis.html?highlight=lineardiscriminantanalysis](https://scikit-learn.org/stable/modules/generated/sklearn.discriminant_analysis.LinearDiscriminantAnalysis.html?highlight=lineardiscriminantanalysis)
sklearn.discriminant_analysis.LinearDiscriminantAnalysis(solver='svd', shrinkage=None, priors=None, n_components=None, store_covariance=False, tol=0.0001, covariance_estimator=None)<br />常用参数：
- solver:{'svd'，'lsqr'，'eigen'}，默认='svd'
- solver的使用，可能的值：
- 'svd'：奇异值分解（默认）。不计算协方差矩阵，因此建议将此求解器用于具有大量特征的数据。
- 'lsqr'：最小二乘解，可以与收缩结合使用。
- 'eigen'：特征值分解，可以与收缩结合使用。
```python
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
lda_iris = LinearDiscriminantAnalysis()
lda_iris.fit(X,y)
lda_iris.score(X,y)
0.98
(2) 朴素贝叶斯：
在线性判别分析中，我们假设每种分类类别下的特征遵循同一个协方差矩阵，每两个特征之间是存在协方差的，因此在线性判别分析中各种特征是不是独立的。但是，朴素贝叶斯算法对线性判别分析作进一步的模型简化，它将线性判别分析中的协方差矩阵中的协方差全部变成0，只保留各自特征的方差，也就是朴素贝叶斯假设各个特征之间是不相关的。在之前所看到的偏差-方差理论中，我们知道模型的简化可以带来方差的减少但是增加偏差，因此朴素贝叶斯也不例外，它比线性判别分析模型的方差小，偏差大。虽然简化了模型，实际中使用朴素贝叶斯的案例非常多，甚至多于线性判别分析，例如鼎鼎大名的新闻分类，垃圾邮件分类等。
在sklearn中使用朴素贝叶斯的实例：
sklearn.naive_bayes.GaussianNB(*, priors=None, var_smoothing=1e-09)
参数说明：
- priorsarray-like of shape (n_classes,)
Prior probabilities of the classes. If specified the priors are not adjusted according to the data.
- var_smoothingfloat, default=1e-9
Portion of the largest variance of all features that is added to variances for calculation stability.
1
2
3
4
5
6
from sklearn.naive_bayes import GaussianNB
NB_iris = GaussianNB()
NB_iris.fit(X, y)
NB_iris.score(X,y)
0.96
2.2.3 决策树 Decision Tree
与前面内容所讲的决策树回归大致是一样的，只是在回归问题中，选择分割点的标准是均方误差，但是在分类问题中，由于因变量是类别变量而不是连续变量，因此用均方误差显然不合适。那问题是用什么作为选择分割点的标准呢？我们先来分析具体的问题：
在回归树中，对一个给定的观测值，因变量的预测值取它所属的终端结点内训练集的平均因变量。与之相对应，对于分类树来说，给定一个观测值，因变量的预测值为它所属的终端结点内训练集的最常出现的类。分类树的构造过程与回归树也很类似，与回归树一样，分类树也是采用递归二叉分裂。但是在分类树中，均方误差无法作为确定分裂节点的准则，一个很自然的替代指标是分类错误率。分类错误率就是：此区域内的训练集中非常见类所占的类别，即：
上式中的 
代表第m个区域的训练集中第k类所占的比例。但是在大量的事实证明：分类错误率在构建决策树时不够敏感，一般在实际中用如下两个指标代替：
- (1) 基尼系数：
在基尼系数的定义中，我们发现这个指标衡量的是K个类别的总方差。不难发现，如果所有的 的取值都接近0或者1，基尼系数会很小。因此基尼系数被视为衡量结点纯度的指标——如果他的取值小，那就意味着某个节点包含的观测值几乎来自同一个类别。
由基尼系数作为指标得到的分类树叫做：CART。
- (2) 交叉熵：
可以替代基尼系数的指标是交叉熵，定义如下：
显然，如果所有的 都接近于0或者1，那么交叉熵就会接近0。因此，和基尼系数一样，如果第m个结点的纯度越高，则交叉熵越小。事实证明，基尼系数和交叉熵在数值上时很接近的。
决策树分类算法的完整步骤：
a. 选择最优切分特征j以及该特征上的最优点s：
遍历特征j以及固定j后遍历切分点s，选择使得基尼系数或者交叉熵最小的(j,s)
b. 按照(j,s)分裂特征空间，每个区域内的类别为该区域内样本比例最多的类别。
c. 继续调用步骤1，2直到满足停止条件，就是每个区域的样本数小于等于5。
d. 将特征空间划分为J个不同的区域，生成分类树。
在sklearn中使用决策树算法对iris分类的实例：
sklearn.tree.DecisionTreeClassifier(*, criterion=’gini’, splitter=’best’, max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None, random_state=None, max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, class_weight=None, ccp_alpha=0.0)
常用参数：
- criterion:{“gini”, “entropy”}, default=”gini”
- max_depth:树的最大深度。
- min_samples_split:拆分内部节点所需的最少样本数
- min_samples_leaf :在叶节点处需要的最小样本数。 ```python from sklearn.tree import DecisionTreeClassifier
tree_iris = DecisionTreeClassifier(min_samples_leaf=5) tree_iris.fit(X,y) tree_iris.score(X,y)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
> 0.9733333333333334
<br />
<a name="tl486"></a>
### 2.2.4 支持向量机Support Vector Machine
支持向量机SVM是20世纪90年代在计算机界发展起来的一种分类算法，在许多问题中都被证明有较好的效果，被认为是适应性最广的算法之一。<br /><br />支持向量机的基本原理非常简单，如图所视，白色和蓝色的点各为一类，我们的目标是找到一个分割平面将两个类别分开。通常来说，如果数据本身是线性可分的，那么事实上存在无数个这样的超平面。这是因为给定一个分割平面稍微上移下移或旋转这个超平面，只要不接触这些观测点，仍然可以将数据分开。一个很自然的想法就是找到最大间隔超平面，即**找到一个分割平面距离最近的观测点最远**。
下面我们来严格推导：<br />我们根据距离超平面那最近的点，只要同时缩放  和  可以得到：  与 ，因此：<br /> <br /> <br />由此可知道SVM模型的具体形式：<br /><br /> <br />可以将约束条件写为: <br />可以将优化问题拉格朗日化<br /><br /> <br />因此：<br /><br /> <br />欲构造 dual 问题, 首先求拉格朗日化的问题中  和  的值, 对  求梯度, 令梯度为 0, 可求得  :<br />对  求梯度, 令梯度为 0, 可得：<br /><br /> <br />将  带入拉格朗日化的原问题可得<br /><br /> <br />因此：<br />对拉格朗日化的原问题求最小值, 得到了  , 现在可以构造 dual 问題 <br /><br /><br /><br /> <br />可以推导出  的值为: <br /><br />SVM的决策子如下，值的符号为类别。<br />
<br />
<a name="bfq12"></a>
### 2.2.5 非线性支持向量机
在刚刚的讨论中，我们都是着重讨论了线性支持向量机是如何工作的，但是在现实生活中，我们很难碰到线性可分的数据集，如：<br /><br />那我们应该如何处理非线性问题呢？答案就是**将数据投影至更加高的维度**！<br /><br />上图中，在一维数据做不到线性可分，我们将数据投影至二维平面就可以成功线性可分。那么，我们来详细探讨下这其中的奥妙：<br /><br /> <br />如果我们使用上面公式的形式将低维数据拓展至高维数据，则必须面临一个很大的问题，那就是：**维度爆炸导致的计算量太大的问题**。假如是一个2维特征的数据，我们可以将其映射到5维来做特征的内积，如果原始空间是三维，可以映射到到19维空间，似乎还可以处理。但是如果我们的低维特征是100个维度，1000个维度呢？那么我们要将其映射到超级高的维度来计算特征的内积。这时候映射成的高维维度是爆炸性增长的，这个计算量实在是太大了，而且如果遇到无穷维的情况，就根本无从计算了。能不能避免这个问题呢？核函数隆重登场：
回顾线性可分SVM的优化目标函数：<br /><br />注意到上式低维特征仅仅以内积  的形式出现，如果我们定义一个低维特征空间到高维特征空间的映射 ，将所有特征映射到一个更高的维度，让数据线性可分，我们就可以继续按前两篇的方法来优化目标函数，求出分离超平面和分类决策函数了。也就是说现在的SVM的优化目标函数变成：<br /><br /> <br />可以看到，和线性可分SVM的优化目标函数的区别仅仅是将内积  替换为 。我们要将其映射到超级高的维度来计算特征的内积。这时候映射成的高维维度是爆炸性增长的，这个计算量实在是太大了，而且如果遇到无穷维的情况，就根本无从计算了。下面引入核函数：
假设  是一个从低维的输入空间 （欧式空间的子集或者离散集合）到高维的希尔伯特空间的 映射。那么如果存在函数 ，对于任意 ，都有：<br /><br /> 那么我们就称 为核函数。
仔细发现，的计算是在低维特征空间来计算的，它避免了在刚才我们提到了在高维维度空间计算内积的恐怖计算量。也就是说，我们可以好好享受在高维特征空间线性可分的利益，却避免了高维特征空间恐怖的内积计算量。下面介绍几种常用的核函数：
(1) 多项式核函数：<br />多项式核函数（Polynomial Kernel）是线性不可分SVM常用的核函数之一，表达式为：<br /><br /> C用来控制低阶项的强度，C=0,d=1代表无核函数。
(2) 高斯核函数：<br />高斯核函数（Gaussian Kernel），在SVM中也称为径向基核函数（Radial Basis Function,RBF），它是非线性分类SVM最主流的核函数。libsvm默认的核函数就是它。表达式为：<br /><br />使用高斯核函数之前需要将特征标准化，因此这里衡量的是样本之间的相似度。
(3) Sigmoid核函数：<br />Sigmoid核函数（Sigmoid Kernel）也是线性不可分SVM常用的核函数之一，表达式为<br /> <br />此时的SVM相当于没有隐藏层的简单神经网络。
(4) 余弦相似度核：<br />常用于衡量两段文字的余弦相似度，表达式为：<br />
**在sklearn中使用支持向量分类机（Support Vector Classification）的实例：**
> [https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html?highlight=svc#sklearn.svm.SVC](https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html?highlight=svc#sklearn.svm.SVC)
sklearn.svm.SVC(*, C=1.0, kernel='rbf', degree=3, gamma='scale', coef0=0.0, shrinking=True, probability=False, tol=0.001, cache_size=200, class_weight=None, verbose=False, max_iter=- 1, decision_function_shape='ovr', break_ties=False, random_state=None)<br />常用参数：
- C:正则化参数。正则化的强度与C成反比。必须严格为正。惩罚是平方的l2惩罚。
- kernel:{'linear'，'poly'，'rbf'，'sigmoid'，'precomputed'}，默认='rbf'
- degree:多项式和的阶数
- gamma:“ rbf”，“ poly”和“ Sigmoid”的内核系数。
- shrinking:是否软间隔分类，默认true
```python
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
svc_iris = make_pipeline(StandardScaler(), SVC(gamma='auto'))
svc_iris.fit(X, y)
svc_iris.score(X,y)
0.9733333333333334
关于pipeline：
管道机制在机器学习算法中得以应用的根源在于，参数集在新数据集（比如测试集）上的重复使用。 管道机制实现了对全部步骤的流式化封装和管理（streaming workflows with pipelines）。 注意：管道机制更像是编程技巧的创新，而非算法的创新。 — https://blog.csdn.net/lanchunhui/article/details/50521648?dist_request_id=1328679.65449.16164940133413855&depth_1-
Refer：本笔记基于DataWhale开源教程整理而来。开源项目链接： https://github.com/datawhalechina/team-learning-data-mining/tree/master/EnsembleLearning
若有收获，就点个赞吧
0 人点赞
