原理推导

image.png
image.png

距离的计算

image.png

数据标签

  • 二分类任务

image.png

优化目标

image.png
image.png

目标函数求解

image.png

  • 带二分之一是为了方便后面的求导

    拉格朗日乘子法

    image.png

  • 引入拉格朗日乘子α

    求解

  • KKT性质

image.png
image.png
image.png

  • SVM求解实例
  • 一个简单的例子

image.png
image.png
image.png
image.png

  • 最终的直线只与边界上的点有关（α≠0），不在边界上的点（α=0）不影响结果
  • 边界上的点为支持向量，非边界上的点为非支持向量

image.png

松弛因子

  • 解决噪音问题

image.png
image.png
image.png

SVM核变换

image.png
image.png
image.png

  • 先映射在再内积等同于先内积再映射
  • 支持向量机做的不是真实的映射到了高维空间，而是仅拿到了一个结果

image.png

  • 高斯核函数实现了从低维向高维的映射

    Python实现

    image.png
    image.png

    随机点生成

    image.png

  • sample_genenrator数据点生成器

image.png
image.png

训练SVM模型

image.png
image.png
image.png
image.png
image.png
image.png
image.png

支持向量影响

image.png
image.png
image.png
image.png

引入核函数

image.png
image.png
image.png
image.png

  • 即高斯核变换

image.png
image.png
image.png

调节参数C

  • Soft Margin问题（软间隔）
  • 调节C参数

image.png
image.png

  • 调节参数让生成数据的离散程度更大

image.png
image.png

调节γ值

image.png

  • 高斯核函数中的一个数值
  • 控制模型的复杂程度
  • 数值越大，核函数映射的维度越高

image.png

  • 越复杂的边界的模型的使用价值越低

    项目实例（面部识别）

    image.png

    导入内置数据集

    image.png
    image.png

    PCA降维

    image.png

    遍历参数

    image.png
    image.png
    image.png

    预测结果

    image.png
    image.png
    image.png

    混淆矩阵

    image.png
    image.png