优化目标

逻辑回归的激活函数：

SVM损失函数图像：

支持向量机优化目标定义：

SVM假设:

大间距分类器

其实即可区分，但是优化目标要求才能优化为0。因此存在一个安全间距。下面说明一下当C很大时的情况。

当C很大时，我们可以得到大间距决策边界，但是当出现异常点时，决策边界会不遗余力去区分它。
但是当C比较小时，则可以忽略异常点，甚至线性不可分时，依然能够运行得很好。

大间距背后的数学原理

向量内积的性质，的内积等于v投影到u上面的长度（有符号的）乘以u的范数（长度）。

当C很大时，要求前面一项趋近于0。等于x在theta向量上的投影，乘以theta的长度。记第i个样本在theta上的投影长度为。

对于决策边界上的点而言，=0。根据内积为0性质。theta向量垂直于决策边界。如果是图中第一种情况，点到theta向量的投影很短，根据，如果p小，则theta大，这不符合最小化的要求。因此样本点与theta向量之间大间距更符合要求，这刚好是最小化的要求。

核函数1

重新定义特征。

l为标记点。

核以及相似性，性质。

越大，高斯核函数越平缓。

核函数2

如何选择标记点，一般直接选择训练集里面的每个点。


每个样本都要计算一次特征。

大C对应于更侧重前面一项，说明参数可以很好拟合训练集。因为是低偏差，高方差。
大sigma对应于更平滑，因此特征之间差异小，表示能力弱。容易产生高偏差。低方差。

使用SVM

使用SVM时尽量选用软件包。但是需要自己选择C，选择一个核函数。

一些其他的核函数。如多项式核函数。字符串核函数。

SVM，逻辑回归，神经网络适用情况。
使用SVM不用担心局部最优，因为他是个凸函数。