SVM支持向量机,又被称作大间距分类器

代价函数

image.png

  • 最小化要求

image.png

决策边界

image.png

  • 普通的回归算法会得到比较勉强的决策边界(绿线、粉线)
  • 但SVM得到的决策边界会考虑最大的间距(黑线)
  • margin:支持向量机的间距
  • 这使得SVM具有鲁棒性(a certain robustness)
  • 因此也被称为大间距分类器

    正则参数

  • 如果正则化参数C设置的非常大

  • 会导致SVM算法对异常点十分敏感

image.png

  • 只因为一个异常点,决策边界从黑线变为粉线
  • C设置的较小的化,就还会是黑线(受异常点影响较小)

    数学原理

    image.png
    image.png
    image.png