一. 大间隔数学分类器的直观理解
使用支持向量机的原理:可以解决复杂的非线性分类,而且比MLP速度更快!
大间隔数学分类器:
对于这样一个二分类问题,我们可以明显感觉到,分类边界A比B更好,这是因为A好像处在更“中间”的位置,拥有更宽的“间隔”。那么如何科学的度量这种间隔,并且利用这种间隔使我们获得最优的分类边界呢?
我们可以这样做:
假设A的方程为:
,用向量的形式可表示为如下的形式:
在
=0时,我们可以确定以下函数:
我们可以两边同除以d,得到新的函数:
接下来我们计算那些在虚线上的点到分类边界的距离,利用点到直线的距离可得,其间隔长为:
为了使其最大化, 我们便可等价的使得
最小化。这就是间隔的衡量和最小化目标。
二. SVM的目标函数和代价函数
目标函数:
代价函数:
我们先来看一下cost1函数和cost2函数所代表的的含义,之后我们再看一参数c所代表的含义
,如图,我们不必关心cost1,cost2不为0的部分的斜率,因为我们只涉及大于等于1或小于等于-1时的情况。
这里的参数c是控制
的一个参数,当把c设置的比较大的时候,就会更趋近于过拟合的,具有低偏差,高方差;当把c设置的比较小的时候,就会更趋近于欠拟合,具有低方差,高误差。
三. 核函数
吴恩达老师视频中核函数这一块实在是太抽象了,我想想放一放,之后我会搜集其他的资料进行更好的理解。
