带松弛因子的SVM

C-SVM

松弛变量限制为
目标函数：
对应的拉格朗日函数为

求使得目标最小的,和:

将结果带入拉格朗日函数，得到其对偶问题:

其KKT条件为：

• 对偶问题的可行域:
• 原问题的可行域:
• 互补松弛条件:

的点,对预测没有贡献,可以忽略
由互补松弛条件得知 的点必须满足:

• 若,由 得知,又因为,所以,即这些点位置支持平面/边界上.
• 若,由 得知,又因为,所以,
  • 当时这些点位于位置支持平面/边界内.
  • 当时这些点则被误分.

    合页损失(hinge loss)

    在C-SVM中,当的时候 ,其他时候
    因此目标函数,可以写成
    当样本被正确分类且函数间隔大于1时，合页损失才是0，否则损失是
    合页损失函数不仅要正确分类，而且确信度足够高时损失才是0