如题

回答:

这是一个空间变换的问题~
首先需要抓住一个关键,理解什么是线性可分。线性可分的定义是一个线性函数可以将两类样本完全分开。比如说在二维平面内,就是指一条直线能区分开来两类样本;

对应到分类器中,就是指我们有x1、x2两个特征,那么这条分界直线的解析表达式是aX_1+bX_2+c=0,aX_1+bX_2+c>0是一类样本,aX_1+bX_2+c<0是了另一类的样本。更进一步的说,就是分界线(面)可以由一个“多元一次方程式”来表达。

下面问题来了,假设两类样本的真实分界线是一个圆(x1^2+x2^2+a=0),或者一条双曲线(xy+a=0),在原来的二维空间中,我们能否找到一条直线分开两类样本?答案明显是不能的。但如果我们非要用直线区分样本呢?那就做空间变换吧。对于上面分界线是圆的情况,将原来的(x1,x2)映射到(x1^2,x2^2);对于双曲线的情况,将原来的(x1,x2)映射到(x1x2),是不是在新的空间中,又可以用一条直线把两类分来啦~~(注:空间变换严谨点应该用基向量来表示,这里讲个意思,不要介意)

本质上:

所以提到特征组合,实际上做的就是空间变换,更准确说是把原有的特征空间映射到了一个更加高维的特征空间中。在一个真实问题中,我们并不知道分界线到底是圆还是双曲线还是别的什么,所以对于上面的例子,我们一般会尝试把原来的(x1,x2)映射到(x1,x2,x1^2,x2^2,x1x2),正所谓扩大搜索范围。特征组合增强了特征的表达能力,基本等价于说高维空间比低维空间更有表达