SURGRL
论文标题:Simple Unsupervised Graph Representation Learning论文作者:Yujie Mo、Liang Peng、Jie Xu, Xiaoshuang Shi、Xiaofeng Zhu论文来源:2022 AAAI
1 Introduction 任务驱动:解决对比学习效率低下的问题。【针对数据增强、判别器训练耗时】
本文工作:
如何构建锚点嵌入、正嵌入、负嵌入;
根据 Triplet loss 设计一种新损失函数;
本文对比学习思想:减小类内距离,增大类间距离。【类似聚类】
研究现状
无监督图表示学习(UGRL)中的对比学习:通常依赖于数据增强来生成输入内容( input content)及其相关内容(related content),以实现 MI 最大化,从而导致训练过程的计算成本昂贵。
相关工作
Deep Graph Infomax (DGI)最大化节点表示和图表示之间的互信息;
Graphical Mutual Information (GMI)最大化输入图和输出图之间的互信息;
GCA 通过各种数据 ...
MGATS
摘要:众所周知,创建科学文本的摘要可能是困难的。对于每个给定的文档,大多数总结研究认为只有一个最好的黄金总结。只有一个黄金摘要限制了我们评估总结算法有效性的能力,因为创建摘要是一门艺术。同样地,由于主题专家需要花费大量时间来阅读和理解冗长的科学出版物,为科学文件注释几个黄金摘要可能非常昂贵。被称为多视角科学文献摘要(Mup)的共享任务是对产生多视角科学摘要的各种方法的探索。利用图注意网络(GATs),我们将抽取文本摘要的方法作为一种句子排序任务。虽然建议的模型所产生的结果不是特别令人印象深刻,但将其与先进水平进行比较表明模型有改进的潜力。
方法:对MuP共享任务采用了提取摘要技术。为此,我们在选择三句话后为每篇文章生成一个图表。根据句子嵌入之间的余弦相似度,与每个摘要句最接近的句子。oracle rank定义为每句话与提供的摘要嵌入之间的归一化平均余弦相似度分数。图1演示了建议的模型。
邻居节点特征的归一化和是通过图卷积过程为GCN产生的,如公式1所示。
注意机制替代了图注意网络(GATs)中的静态归一化卷积运算(图2)。
使用GA T的主要理念是根据文章中句与句之间的 ...
GUSUM
摘要:无监督提取文档摘要的目的是在不需要标记语料库的情况下,从文档中提取突出的句子。在现有的基于图的方法中,顶点和边的权重通常是通过计算句子相似度来创建的。本文提出了一种基于图的无监督摘要(GUSUM)抽取文本摘要的方法,该方法基于在摘要中包含最重要的句子而剔除意义相近的句子的原则。我们用最新的句子嵌入模型和句子特征改进了传统的图排序算法,并改进了句子中心性的计算方法。我们首先定义顶点上表示的句子特征分数,表示文档中每个句子的重要性。在此阶段之后,我们使用Sentence-BERT来获取句子嵌入,以更好地捕捉句子的意思。通过这种方式,我们定义了表示语义相似性的图的边。接下来,我们创建一个无向图,其中包括句子的意义和句子之间的相似性。在最后一个阶段,我们用我们在创建的图表上建议的排序方法确定文档中最重要的句子。在CNN/每日邮报、纽约时报、arXiv和PubMed数据集上的实验表明,在自动和人工评估的情况下,我们的方法在无监督的基于图的摘要上取得了很高的性能
方法该系统主要由四个步骤组成:
首先,计算语句特征来定义顶点权重;
其次,我们通过Sentenc ...
GRACE
论文标题:Deep Graph Contrastive Representation Learning论文作者:Yanqiao Zhu, Yichen Xu, Feng Yu, Q. Liu, Shu Wu, Liang Wang论文来源:2020, ArXiv
摘要本文提出了一个利用节点级对比目标的无监督图表示学习框架。
具体来说,我们通过corruption生成两个视图,并通过最大化这两个视图中节点表示的一致性来学习节点表示。
为了为对比目标提供不同的节点上下文,我们提出了一种在结构和属性层次上生成视图的混合方案。
此外,我们从互信息和三元组损失(triplet loss)两个角度提供了理论证明。
我们使用真实的数据集对transductive和inductive学习任务进行了实验。
1 引言
DGI缺点:
DGI使用 mean-pooling readout 函数,不能保证图嵌入可以从节点中提取有用的信息,因为它不足以从节点级嵌入中保存独特的特征。
DGI使用特征变换来生成损坏视图。然而,该方案在生成负节点样本时,在粗粒度级别考虑损坏节点特征。当特征矩阵稀疏时,只执行特征变 ...
MERIT
论文信息论文标题:Multi-Scale Contrastive Siamese Networks for Self-Supervised Graph Representation Learning论文作者:Ming Jin,Yizhen Zheng,Yuan-Fang Li,Chen Gong,Chuan Zhou,Shirui Pan论文来源: 2021,IJCAI
一、Abstract问题:现有的图表示学习技术严重依赖标记信息。解决:本文提出了一种新的自监督方法,通过多尺度对比学习增强孪生网络自蒸馏来学习节点表示。具体来说,首先从输入图生成两个增强视图,这两个增强视图分别是基于局部和全局视图的。然后采用两个目标,即跨视图(cross-view)和跨网络(cross-network)的对比性,最大化不同视图和网络的节点表示之间的一致性。
多尺度:cross-view中视图内和视图间两种尺度的对比学习,不同视图下cross-network的对比学习。孪生网络:狭义的孪生神经网络(siamese network)由两个结构相同,且权重共享的神经网络拼接而成。广义的孪生神经网络,或伪孪生 ...
AGE
论文记录【KDD2020】 Adaptive Graph Encoder for Attributed Graph Embedding摘要: 属性图嵌入从图的拓扑和节点特征中学习向量表示,是图分析的一项具有挑战性的任务。近年来,基于图卷积网络(GCNs)的方法在这一任务上取得了很大的进展。然而,现有的基于GCN的方法有三个主要的缺点。(1)实验表明,图卷积滤波器和权重矩阵的纠缠会损害其性能和鲁棒性。(2)作者证明了这些方法中的图卷积滤波器是广义拉普拉斯平滑滤波器的特殊情况,但它们没有保持最优的低通特性。(3)关于现有算法的训练目标通常是重构邻接矩阵或特征矩阵,这并不总是与现实应用相一致。为解决上述问题,论文提出了一种新的属性图嵌入框架—-自适应图编码器(AGE)。AGE共有两个模块:(1)为了更好地缓解节点特征中的高频噪声,AGE首先应用了一个精心设计的拉普拉斯平滑滤波器。(2)AGE采用了一种自适应编码器,迭代地加强过滤后的特征,以获得更好的节点嵌入。提出的模型,在节点聚类和连接预测任务上的性能明显优于最先进的图嵌入方法。
模型浅析:
问题的形式化给定一个图的描述,其中是个节点对应 ...
DGI
无监督-DEEP GRAPH INFOMAX算法背景算法名称:DGI(Deep Graph Infomax),ICLR 2019
图嵌入的无监督算法大多基于random-walk构造目标函数,但它有如下缺点:
以图结构信息为代价,过分强调邻近信息
模型指标非常依赖超参数的选择
本文提出另一类基于互信息的无监督图嵌入算法,目标是最大化**局部表示(patch)与对应的图概述表示(summary)**间的互信息。
核心技术
对于 corruption function ,直接采用 A˜=A,但是 X˜是由原本的特征矩阵 X 经过随机变换得到的。也就是说,损坏的图(corrupted graph)由与原始图完全相同的节点组成,但它们位于图中的不同位置,因此将得到不同的邻近表示。
框架
最大化正样本节点和图之间的相似度,最小化负样本节点和图之间的相似。
无题
test文件
无监督-DEEP GRAPH INFOMAX
无监督-DEEP GRAPH INFOMAX算法背景算法名称:DGI(Deep Graph Infomax),ICLR 2019
图嵌入的无监督算法大多基于random-walk构造目标函数,但它有如下缺点:
以图结构信息为代价,过分强调邻近信息
模型指标非常依赖超参数的选择
本文提出另一类基于互信息的无监督图嵌入算法,目标是最大化**局部表示(patch)与对应的图概述表示(summary)**间的互信息。
核心技术
对于 corruption function ,直接采用 A˜=A,但是 X˜是由原本的特征矩阵 X 经过随机变换得到的。也就是说,损坏的图(corrupted graph)由与原始图完全相同的节点组成,但它们位于图中的不同位置,因此将得到不同的邻近表示。
框架
最大化正样本节点和图之间的相似度,最小化负样本节点和图之间的相似。
推荐输入模块
实现输入建议模块的复用
elemt-ui中的案例展示如图:
代码如下:
1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677787980818283848586<!-- 模糊检索获得推荐检索的时候 就已经获得了搜索结果 默认是获得焦点请求 修改默认输入值后匹配触发trigger-on-focus="false" querySearch 一获取焦点就输入建议的数据 包含两个参数 一个存储输入数据 一个存储推荐结果数据 handleSelect 当选中建议项时,调用该方法 keyup.enter.native 增加回车触发事件 changeStyle 解决回车后建议输入框没消失的bug --& ...