简介

在图神经网络中，我们用 Spectral CNN - 图1 表示图顶点上的特征向量，通过上文的介绍，我们知道特征 Spectral CNN - 图2 与滤波 Spectral CNN - 图3 的谱卷积定义为：

Spectral CNN - 图4%26%20%20%20%20%20%20%20%26%20%20%20%20%20%20%20%5Cmathbf%7B0%7D%5C%5C%20%20%20%20%26%20%20%20%20%20%20%20%5Cddots%26%20%20%20%20%20%5C%5C%20%20%5Cmathbf%7B0%7D%26%20%20%20%20%20%26%20%20%20%20%20%20%20%5Cwidehat%7Bg%7D%5Cleft(%20%5Clambda%20_n%20%5Cright)%5C%5C%20%5Cend%7Bmatrix%7D%20%5Cright%5D%20%5Cmathbf%7BU%7D%5E%7B%5Cmathrm%7BT%7D%7D%5Cmathbf%7Bx%7D%0A#card=math&code=%5Cmathbf%7Bx%7D%5Cstar%20%5Cmathbf%7Bg%7D%3D%5Cmathbf%7BU%7D%5Cleft%5B%20%5Cbegin%7Bmatrix%7D%20%20%5Cwidehat%7Bg%7D%5Cleft%28%20%5Clambda%20_1%20%5Cright%29%26%20%20%20%20%20%20%20%26%20%20%20%20%20%20%20%5Cmathbf%7B0%7D%5C%5C%20%20%20%20%26%20%20%20%20%20%20%20%5Cddots%26%20%20%20%20%20%5C%5C%20%20%5Cmathbf%7B0%7D%26%20%20%20%20%20%26%20%20%20%20%20%20%20%5Cwidehat%7Bg%7D%5Cleft%28%20%5Clambda%20_n%20%5Cright%29%5C%5C%20%5Cend%7Bmatrix%7D%20%5Cright%5D%20%5Cmathbf%7BU%7D%5E%7B%5Cmathrm%7BT%7D%7D%5Cmathbf%7Bx%7D%0A&id=qjdMs)

我们记 Spectral CNN - 图5%20%3D%5Cmathbf%7BU%7D%5Cmathrm%7Bdiag%7D%5Cleft(%20%5Chat%7Bg%7D%5Cleft(%20%5Clambda%201%20%5Cright)%20%2C…%2C%5Chat%7Bg%7D%5Cleft(%20%5Clambda%20_n%20%5Cright)%20%5Cright)%20%5Cmathbf%7BU%7D%5E%7B%5Cmathrm%7BT%7D%7D#card=math&code=g%7B%5Ctheta%7D%5Cleft%28%20%5Cmathbf%7BL%7D%20%5Cright%29%20%3D%5Cmathbf%7BU%7D%5Cmathrm%7Bdiag%7D%5Cleft%28%20%5Chat%7Bg%7D%5Cleft%28%20%5Clambda%20_1%20%5Cright%29%20%2C…%2C%5Chat%7Bg%7D%5Cleft%28%20%5Clambda%20_n%20%5Cright%29%20%5Cright%29%20%5Cmathbf%7BU%7D%5E%7B%5Cmathrm%7BT%7D%7D&id=Pzke2)，这里使用 Spectral CNN - 图6 下标，表示这些元素都是神经网络中需要学习的参数。这样的话，图神经网络上的卷积操作可写作：

Spectral CNN - 图7%20%5Cmathbf%7Bx%7D%3D%5Cmathbf%7BU%7Dg%7B%5Ctheta%7D%5Cleft(%20%5Cmathbf%7B%5CLambda%20%7D%20%5Cright)%20%5Cmathbf%7BU%7D%5E%7B%5Cmathrm%7BT%7D%7D%5Cmathbf%7Bx%7D%0A#card=math&code=%5Cmathbf%7Bg%7D%7B%5Ctheta%7D%5Cstar%20%5Cmathbf%7Bx%7D%3Dg%7B%5Ctheta%7D%5Cleft%28%20%5Cmathbf%7BL%7D%20%5Cright%29%20%5Cmathbf%7Bx%7D%3D%5Cmathbf%7BU%7Dg%7B%5Ctheta%7D%5Cleft%28%20%5Cmathbf%7B%5CLambda%20%7D%20%5Cright%29%20%5Cmathbf%7BU%7D%5E%7B%5Cmathrm%7BT%7D%7D%5Cmathbf%7Bx%7D%0A&id=ZyyNx)

[@bruna_spectral_2014] 将 Spectral CNN - 图8%20%2C%5Chat%7Bg%7D%5Cleft(%20%5Clambda%20_2%20%5Cright)%20%2C…%2C%5Chat%7Bg%7D%5Cleft(%20%5Clambda%20_n%20%5Cright)#card=math&code=%5Chat%7Bg%7D%5Cleft%28%20%5Clambda%20_1%20%5Cright%29%20%2C%5Chat%7Bg%7D%5Cleft%28%20%5Clambda%20_2%20%5Cright%29%20%2C…%2C%5Chat%7Bg%7D%5Cleft%28%20%5Clambda%20_n%20%5Cright%29&id=dbFuj) 看作可学习的参数 Spectral CNN - 图9，即：

Spectral CNN - 图10%20%5Cmathbf%7BU%7D%5E%7B%5Cmathrm%7BT%7D%7D%5Cmathbf%7Bx%7D%5C%5C%0A%20%20%20%20%20%20%20%20%26%3D%5Cmathbf%7BU%7D%5Cleft%5B%20%5Cbegin%7Bmatrix%7D%0A%20%20%20%20%20%20%20%20%5Ctheta%201%26%20%20%20%20%20%20%26%20%20%20%20%20%20%20%5Cmathbf%7B0%7D%5C%5C%0A%20%20%20%20%20%20%20%20%26%20%20%20%20%20%20%20%5Cddots%26%20%20%20%20%20%5C%5C%0A%20%20%20%20%20%20%20%20%5Cmathbf%7B0%7D%26%20%20%20%20%20%26%20%20%20%20%20%20%20%5Ctheta%20_n%5C%5C%0A%20%20%20%20%5Cend%7Bmatrix%7D%20%5Cright%5D%20%5Cmathbf%7BU%7D%5E%7B%5Cmathrm%7BT%7D%7D%5Cmathbf%7Bx%7D%5C%5C%0A%20%20%20%20%5Cend%7Baligned%7D%0A#card=math&code=%5Cbegin%7Baligned%7D%0A%20%20%20%20%20%20%20%20%5Cmathbf%7Bg%7D%7B%5Ctheta%7D%5Cstar%20%5Cmathbf%7Bx%7D%26%3D%5Cmathbf%7BU%7Dg_%7B%5Ctheta%7D%5Cleft%28%20%5Cmathbf%7B%5CLambda%20%7D%20%5Cright%29%20%5Cmathbf%7BU%7D%5E%7B%5Cmathrm%7BT%7D%7D%5Cmathbf%7Bx%7D%5C%5C%0A%20%20%20%20%20%20%20%20%26%3D%5Cmathbf%7BU%7D%5Cleft%5B%20%5Cbegin%7Bmatrix%7D%0A%20%20%20%20%20%20%20%20%5Ctheta%20_1%26%20%20%20%20%20%20%26%20%20%20%20%20%20%20%5Cmathbf%7B0%7D%5C%5C%0A%20%20%20%20%20%20%20%20%26%20%20%20%20%20%20%20%5Cddots%26%20%20%20%20%20%5C%5C%0A%20%20%20%20%20%20%20%20%5Cmathbf%7B0%7D%26%20%20%20%20%20%26%20%20%20%20%20%20%20%5Ctheta%20_n%5C%5C%0A%20%20%20%20%5Cend%7Bmatrix%7D%20%5Cright%5D%20%5Cmathbf%7BU%7D%5E%7B%5Cmathrm%7BT%7D%7D%5Cmathbf%7Bx%7D%5C%5C%0A%20%20%20%20%5Cend%7Baligned%7D%0A&id=Y0S3S)

然而这样定义的神经网络有不少缺陷：

  1. 泛化能力差： 这样学到的参数 Spectral CNN - 图11 与基 Spectral CNN - 图12 的相关性很强，在不同的图上，由于 Spectral CNN - 图13 不一样，生成的基 Spectral CNN - 图14 也不一样；此外，训练参数的数量还和顶点数 Spectral CNN - 图15 相关，因此该模型迁移到在其他图上时不一定适用。
  2. 计算量大：每次卷积操作都要乘 Spectral CNN - 图16 和 Spectral CNN - 图17，复杂度为 Spectral CNN - 图18#card=math&code=%5Cmathcal%7BO%7D%28n%5E2%29&id=FmSTt)；此外还需要对 Spectral CNN - 图19 进行显式的特征分解，其复杂度为 Spectral CNN - 图20#card=math&code=%5Cmathcal%7BO%7D%28n%5E3%29&id=apvlL)。
  3. 不具备空间局部性：传统 CNN 上的卷积都具有空间局部性(Spatial localization)：目标节点的输出是其邻域节点输入的线性组合，既能保障空间结构的学习，又能减少参数量。然而 Spectral CNN 模型中将所有的节点都参与计算，相当于一个全连接层，不具备空间局部性。

参考

论文：《SpectralNetworksandLocallyConnectedNetworksonGraphs》