由于随机噪声或者误差等问题，因此允许一些点不符合不等式约束条件。

理想条件下(hard-svm), 优化问题如下:

SVM(2): Soft-SVM - 图1

我们允许其存在一定的违规量，这里引入松弛变量 SVM(2): Soft-SVM - 图2, 优化问题变为:

SVM(2): Soft-SVM - 图3

其中 C > 0 ,成为惩罚参数，当C比较大时对误分类的惩罚较大，C较小时对误分类的惩罚较小，其值通常由应用决定。

优化问题 (2) 其实也是个凸二次规划问题，其求解与Hard-SVM一样

1. Lagrange Multiplier

对应的拉格朗日乘法公式为

SVM(2): Soft-SVM - 图4

SVM(2): Soft-SVM - 图5

则优化问题（2）可以写作：

SVM(2): Soft-SVM - 图6

其对偶问题为：

SVM(2): Soft-SVM - 图7

证明见Hard-SVM

求解过程

  1. 求解 SVM(2): Soft-SVM - 图8, 分别对w和b求导，并令其偏导数为0

    SVM(2): Soft-SVM - 图9

  2. 将(6)带入到 L 中，得到 G