李航 统计学习方法 第七章学习笔记 by 沉默的山岭

例题7.2 已知正例点 统计学习方法7_4:练习题 - 图7, 负例点 统计学习方法7_4:练习题 - 图8,试求最大间隔分离超平面和分类决策函数,并在图上画出分离超平面,间隔边界及支持向量。

这组数据线性可分,所以可以使用硬间隔支持向量机解决。
首先,求如下优化问题对应的解:
统计学习方法7_4:练习题 - 图9

统计学习方法7_4:练习题 - 图10 统计学习方法7_4:练习题 - 图11

统计学习方法7_4:练习题 - 图12
统计学习方法7_4:练习题 - 图13
约束条件为:
统计学习方法7_4:练习题 - 图14

统计学习方法7_4:练习题 - 图15代入上面的式子(1),合并同类项后有:
统计学习方法7_4:练习题 - 图16
上面计算中,系数是X的列向量点乘的结果,即:统计学习方法7_4:练习题 - 图17。正负号是Y的分量相乘的结果。

根据KKT条件,(2) 式能取到极小值的几个可能的点: 1. 目标函数极小值处, 2: 松弛条件控制的点处。书本里按这个原则尝试后得到了
统计学习方法7_4:练习题 - 图18

将分离超平面,支撑超平面画到坐标轴上得到如下结果:
image.png

已知正例点 统计学习方法7_4:练习题 - 图20, 负例点 统计学习方法7_4:练习题 - 图21,试求最大间隔分离超平面和分类决策函数,并在图上画出分离超平面,间隔边界及支持向量。

这组数据线性可分,所以可以使用硬间隔支持向量机解决。
首先,求如下优化问题对应的解:
统计学习方法7_4:练习题 - 图22

统计学习方法7_4:练习题 - 图23 统计学习方法7_4:练习题 - 图24