GRACE
论文标题：Deep Graph Contrastive Representation Learning
论文作者：Yanqiao Zhu, Yichen Xu, Feng Yu, Q. Liu, Shu Wu, Liang Wang
论文来源：2020, ArXiv
摘要
本文提出了一个利用节点级对比目标的无监督图表示学习框架。
具体来说，我们通过corruption生成两个视图，并通过最大化这两个视图中节点表示的一致性来学习节点表示。
为了为对比目标提供不同的节点上下文，我们提出了一种在结构和属性层次上生成视图的混合方案。
此外，我们从互信息和三元组损失（triplet loss）两个角度提供了理论证明。
我们使用真实的数据集对transductive和inductive学习任务进行了实验。
1 引言
DGI缺点：
DGI使用 mean-pooling readout 函数，不能保证图嵌入可以从节点中提取有用的信息，因为它不足以从节点级嵌入中保存独特的特征。
DGI使用特征变换来生成损坏视图。然而，该方案在生成负节点样本时，在粗粒度级别考虑损坏节点特征。当特征矩阵稀疏时，只执行特征变换不足以为损坏图中的节点生成不同的邻域（即上下文），导致对比目标的学习困难。
在GRACE中，我们首先通过随机执行损坏来生成两个相关的视图。
然后，我们使用对比损失来训练模型，以最大限度地提高这两个视图中节点嵌入之间的一致性。在我们的工作中，我们共同考虑拓扑和节点属性级别的损坏，即去除边和掩蔽特征，为不同视图中的节点提供不同的上下文，从而促进对比目标的优化。
最后，我们提供了理论分析，揭示了从我们的对比目标与互信息和经典的三元组损失的联系。
2 GRACE
2.1 准备工作
2.2 节点表示的对比学习
2.2.1 对比学习框架
学习算法总结如下：
2.2.2 视图生成
3 实验
数据集：
结果：
4 总结
在本文中，我们开发了一种新的基于最大化节点级协议的图对比表示学习框架。我们的模型首先使用两种提出的方案生成图视图，去除边缘和屏蔽节点特征，然后应用对比损失来最大限度地提高这两个视图中节点嵌入的一致性，从而学习表示。
理论分析揭示了我们的对比目标与互信息最大化和经典三重损失之间的联系，这证明了我们的动机是正确的。我们使用各种真实世界的数据集在传导和感应设置下进行了全面的实验。实验结果表明，我们提出的方法可以始终优于现有的最先进的方法，甚至在转导任务上超过有监督的同行。