ICML21 GAS：一键将任意GNN扩展到任意大图上

推荐一篇 ICML 2021 的文章，与之前推荐的 xx 类似，本文也不是关注于 GNN 的架构设计，而是希望能够改善大规模 GNN 的训练问题。

作者包括 Matthias Fey(著名的 Pytorch Geometric 的开发者) 和斯坦福 Jure 等一众大佬。

本文的核心 idea 是：通过保存历史计算过的节点表示，使得任意 GNN 可以扩展到任意大图上运行，且 GPU 消耗为常量。在具体实现时，通过调用本文提供的 PyGAS 框架，只要修改短短几行代码，即可一键起飞~

下图中的彩色部分为需要修改的所有代码。

介绍

大图上的 GNN 基本很难以 full-batch 的形式运行 (拿不到完整的邻接矩阵)。目前的解法主要是进行采样，比如逐点采样其局部邻居结构并聚合。

但是在采样聚合过程中，会有很多冗余的计算。比如聚合节点
和节点
的邻居并学习表示时，节点
和
会重复计算。

那么一个简单的想法就是：如果
和
的表示会重复计算的话，那算完的表示直接存下来，下次直接调用就完事了呗。

下图为 GAS 的计算图，
代表上次迭代更新的历史节点表示。可以看出这里
的表示没有迭代更新了，而是直接从
中取出来。

本文的核心公式如下：

其实就做了一件事，把会重复计算的节点表示
用其历史计算过的表示
来代替。

更多具体细节欢迎去围观原文。
https://zhuanlan.zhihu.com/p/386913873