笑得,去了解一下互斥力和DDI有啥关系没。

《ACMP: Allen-Cahn Message Passing for Graph Neural Networks with Particle Phase Transition》

看introduction的话,作者就是想通过particle的行为来得到更好的message passing结构,来解决over smoothing问题。具体来说就是为粒子系统设计了一个专属的message passing架构。
模型,gogogo。先看预备知识GCN相关:
image.png
image.png,光看公式以为是乱码,代表AGGREGATE,r和Φ代表MLP,α代表边上的信息。GCN,GIN,GAT都基于这个形式。
怎么类比到particle呢,作者说over smooth的现象相当于粒子聚在一起,形成单聚群。当然现实不是这样的,粒子应该形成多聚群。
另一个基本知识是用于相变的Allen-Cahn equation。image.png,可以理解为使无序的东西变得有序。
切入整体。
首先介绍一下Dirichlet energy:image.png
x是关于t的函数:image.png
然后作者又操作了一通,引入了另一个energy公式,并和迪利克雷能量结合:image.png
最终得到:
image.png
这里面的迪利克雷扮演普通GNN的角色,使点达到一致,而Allen-Cahn势能则将粒子推向双陷的局部均衡点。

The Allen-Cahn Message Passing

期待已久的消息传递框架。
image.png
先看一下这张不明觉厉的图。首先虚线左边的,是一个双阱势场,具体在文章中是上文提到的W,不同的x_i有不同的势能,在Allen-Cahn下浅色会趋于深色。虚线右边是一次消息传递。等会儿看了公式再解析。
先说回左边的,当x_i从t=0开始,而势能会鼓励x_i向底部走。
image.png
一个对比:
image.png
作者又引入了repulsive force,提出两种ACMP。
ACMP-GCN,image.pngimage.png
ACMP-GAT,把a换成GAT的就行,注意有个吸引力和排斥力的东西:
image.png

具体实施:
image.png
此外,双阱可以换成多阱。