Graph Contrastive Learning with Augmentations

• Yuning You, Tianlong Chen, Yongduo Sui, et al. Graph Contrastive Learning with Augmentations[C]. In NeurIPS 2020.
• 德克萨斯农工大学、德克萨斯大学奥斯汀分校

  摘要(Abstract)

     图结构数据上的可泛化、可转移和鲁棒的表示学习仍然是当前图神经网络(GNN)的一个挑战。与已开发的用于图像数据的卷积神经网络(CNN)不同，针对GNN的自监督学习和预训练的探索较少。在本文中，我们提出了一个图对比学习(GraphCL)框架，用于学习图数据的无监督表示。我们首先设计了四种类型的图增强，以结合各种先验知识。然后，我们在四种不同的环境下系统地研究了图增强的各种组合对多个数据集的影响：半监督、无监督、迁移学习以及对抗攻击。结果表明，即使不调整增强程度，也不使用复杂的GNN结构，我们的GraphCL框架可以产生与最先进的方法类似或更好的泛化、可转移性和鲁棒性的图表示。我们还研究了参数化图增强程度和模式的影响，并在初步实验中观察到进一步的性能改进。我们的代码请访问：[https://github.com/Shen-Lab/GraphCL](https://github.com/Shen-Lab/GraphCL)

  1 引言(Introduction)

  2 相关工作(Related Work)

  3 方法(Methodology)

  3.1 图的数据增强(Data Augmentation for Graphs)

  3.2 图对比学习(Graph Contrastive Learning)

  4 数据增强在图对比学习中的作用(The Role of Data Augmentation in Graph Contrastive Learning)

  4.1 数据增强对于图对比学习的效果具有关键作用(Data Augmentations are Crucial)

  Obs.1. 加入数据增强有效提升了GraphCL的效果(Data augmentations are crucial in graph contrastive learning)
  Obs.2. 组合不同数据增强方式对算法效果提升更大(Composing different augmentations benefits more)

  4.2 数据增强的类型、强度和模式对GraphCL效果的影响(The Types, the Extent, and the Patterns of Effective Graph Augmentations)

  Obs. 3. Edge perturbation的方式对于Social Network有效但在部分biochemical Molecules数据集上反而有负面效果(Edge perturbation benefits social networks but hurts some biochemical molecules)
  Obs. 4. Attribute masking的方式在更“密集“的图数据上能取得更好效果(Applying attribute masking achieves better performance in denser graphs)
  Obs. 5. Node dropping和Subgraph的方式对所有数据集都有效(Node dropping and subgraph are generally beneficial across datasets)

  4.3 相对于“更难”的任务，过于简单的对比任务对算法性能提升没有帮助(Unlike “Harder” Ones, Overly Simple Contrastive Tasks Do Not Help)

  5 GraphCL与SOTA算法的性能对比(Comparison with the State-of-the-art Methods)

  6 结论(Conclusion)