对于 T5 这篇论文，它最重要作用是给整个 NLP 预训练模型领域提供了一个通用框架，把所有任务都转化成一种形式，正如论文里所说的 introducing a unified framework that converts every language problem into a text-to-text format. 之后未来做 NLP 实验，而是无论什么任务，直接拿来一个超大预训练模型，然后主要工作就变成了怎么把任务转换成合适的文本输入输出，而且可以用于多种任务，而模型对这些任务的区分只是根据你构建的输入输出形式， 关于论文，作者们做了很多实验，如下图 正因为如此多实验，所以才对预训练模型中的大量技巧获得了一个较公平的比对和分析。 Why Text-to-Text？T5 模型， Transfer Text-to-Text Transformer 的简写，。 Transfer 来自 Transfer Learning，预训练模型大体在这范畴，Transformer 也不必多说，那么 Text-to-Text 是什么呢。那就是作者在这提出的一个统一框架，将所有 NLP ...

EMNLP2021 说到计算两个句子的相似度，最直接的做法便是，将两个句子输入到BERT模型中，使用[CLS]对应的输出或者整个句子序列的输出的平均向量，作为句向量，然后再计算两个句向量的相似度。但是由于BERT模型的MLM与NSP这两个预训练任务的局限性，模型无法很好地学习到句子表征能力。 经过MLM与NSP任务训练之后，BERT无法学习到良好的句向量表示。 MLM任务是遮住某个单词，让模型去预测遮住的单词，在这个训练中，模型并没有显式地对[CLS]向量进行训练，没有告诉模型[CLS]这个向量就是用来编码句子的语义信息的。在MLM任务中[CLS]学习到的并不是句子的语义表征。 NSP任务是给定两个句子，让模型判断两个句子是否为上下文关系，使用[CLS]的输出来进行二分类。在这个任务中，[CLS]是用来编码两个句子之间的关系的，而不是描述某个句子的语义信息。 综上所述，未经过fintune的BERT模型，必然无法得到良好的句子的语义表征。 下图所展示的是在STS数据集中，文本相似度的分布情况，其中横坐标表示人类标注的句子相似度等级，纵坐标表示没有经过finetune的BERT ...

一、PGN 架构PGN（ Pointer-Generator Networks, 指针生成网络），主要解决以上的第三点问题。PGN 可以将原文中的一些重要、低频单词直接 copy 到生成的文本摘要中，极大地避免 OOV 问题。 PGN 网络架构 以上是 PGN 的模型架构图，可以看出在 seq2seq + attention 的基础上，多了一层 pgen的计算。 先根据当前时间步的 decoder input 和 encoder 计算出的 context vector，计算出当前时间步的 pgen ； 然后用 1−pgen 乘以 Attention Distribution，得到原始文本的相关信息； 其次用 pgen 乘以 Vocabulary Distribution，得到生成文本的相关信息； 最后将这两部分信息相加，得到 Final Distribution。 详细来看，结合了PGN 的seq2seq 网络架构的计算流程可以分为以下的步骤。 计算 Attention Distribution（attention weight） 其中， hi 是由 encoder 计 ...

关键词提取 (Keyphrase Extraction，KPE) 任务可以自动提取文档中能够概括核心内容的短语，有利于下游信息检索和 NLP 任务。 当前，由于对文档进行标注需要耗费大量资源且缺乏大规模的关键词提取数据集，无监督的关键词提取在实际应用中更为广泛。 无监督关键词抽取的state of the art（SOTA）方法是对候选词和文档标识之间的相似度进行排序来选择关键词。但由于候选词和文档序列长度之间的差异导致了关键短语候选和文档的表征不匹配，导致以往的方法在长文档上的性能不佳，无法充分利用预训练模型的上下文信息对短语构建表征。 在这项工作中，作者提出了一种新的基于无监督嵌入的关键词提取方法，即 MDERank。MDERank 通过利用掩码生成覆盖了候选词的文章，利用预训练模型得到掩码文档及其原始文档的表征，对其进行相似度计算，利用相似度分数对候选词进行排名来同时解决这两个问题。 此外，我们还利用自监督对比学习方法提出一种新颖的面向 KPE 的 BERT (KPEBERT) 模型进一步提升了关键词提取的性能，该方法比普通 BERT 更兼容 MDERank。我们在六个 KP ...

1.BERT模型BERT的全称是‘idirectional Encoder Representation from Transformers，即双向Transformer的Encoder，因为decoder是不能获要预测的信息的。模型的主要创新点都在pre-train方法上，即用了Masked LM和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。 1.1 模型结构由于模型的构成元素Transformer已经解析过，就不多说了，BERT模型的结构如下图最左： 对比OpenAI GPT(Generative pre-trained transformer)，BERT是双向的Transformer block连接；就像单向RNN和双向RNN的区别，直觉上来讲效果会好一些。 对比ELMo，虽然都是“双向”，但目标函数其实是不同的。ELMo是分别以 和 作为目标函数，独立训练处两个representation然后拼接，而BERT则是以 作为目标函数训练LM。 1.2 Embedding这里的Embedding由三种Embedd ...

bart.pdf

Improving Language Understandingby Generative Pre-Training一 背景GPT1：Generative Pre-Training。是一种生成式的预训练模型，由OpenAi团队发表自论文《Improving Language Understanding by Generative Pre-Training》。该模型的核心思想：通过二段式的训练，第一个阶段是利用语言模型进行预训练（无监督形式），第二阶段通过 Fine-tuning 的模式解决下游任务（监督模式下）。GPT-1可以很好地完成若干下游任务，包括分类、蕴含、相似度、多选等。在多个下游任务中，微调后的GPT-1系列模型的性能均超过了当时针对特定任务训练的SOTA模型。 二 模型整体结构（宏观） 左侧为模型的整体结构，由12个Transformer中的Decoder模块经修改后组成。 ​ 其中，k是上下文窗口的大小。在模型结构上，GPT-1选择了Transformer Decoder作为其主要组成部分。GPT-1由12层Transformer Decoder的变体组成，称其 ...

GPT-2：多任务学习GPT-2继续沿用了原来在GPT中使用的单向 Transformer 模型，而这篇文章的目的就是尽可能利用单向Transformer的优势，做一些BERT使用的双向Transformer所做不到的事。那就是通过上文生成下文文本。 GPT-2的改进1. 去掉了fine-tuning层：不再针对不同任务分别进行微调建模，而是不定义这个模型应该做什么任务，模型会自动识别出来需要做什么任务，是很通用的设计。 2. 增加数据集：GPT-2手机了更加广泛，数量更多的语料组成数据集。该数据集包含800万个网页，大小为40G。这些数据是经过过滤后得到的高质量文本。 3. 增加网络参数：GPT-2将Transformer堆叠的层数增加到48层，隐层的维度为1600，参数量达到了15亿。（5倍于BERT的参数量） 4. 调整Transformer：将layer normalization放到每个sub-block之前，并在最后一个self-attention后再增加一个layer normalization ​ 此外，GPT-2将词汇表数量增加到50257个；最大的上下文大小从GPT ...

论文标题Simple Contrastive Graph Clustering论文作者、链接作者：Liu, Yue and Yang, Xihong and Zhou, Sihang and Liu, Xinwang链接：https://arxiv.org/abs/2205.07865 Introduction逻辑（论文动机&现有工作存在的问题）图学习——深度图聚类，主要分为：生成式，对抗式和对比式——这些方法通过聚类导向的损失函数来使得生成的样本拟合预先生成的聚类分布，于是初始化的簇中心对模型的影响很大——最近，由于对比学习的兴起，设计了更一致和有区别的对比损失函数来取代聚类引导的损失函数用于网络训练——对比学习的损失函数消除了初始化簇中心所带来的人工误差——然而，复杂的数据增广以及图卷积的耗时比较大，使得这些方法的效率比较低下。 为了解决上述问题，本文提出了(Simple Contrastive Graph Clustering ，SCGC)方法，从网络架构、数据增广、目标函数的方面来改进聚类能力。网络架构方面，使用孪生网络，由MLP构成。网络训练前独立进行邻域信息聚合过程 ...

Contrastive Multi-View Representation Learning on Graphs【背景和动机】1）基于GNNs的方法仍然需要专门的编码器来学习图或节点级表示。2）如何将多视图增强方法应用于图数据。 为了解决上述两个问题，引入了一种自监督的方法来训练图编码器，通过最大化从不同的图的结构视图编码的表示之间的MI。我们表明，我们的方法在不需要专门架构的情况下，在节点和图分类任务上都优于以前的具有显著边际的自监督模型。 为了进一步改进节点和图分类任务上的对比表示学习，论文系统地研究了我们的框架的主要组成部分，并令人惊讶地表明，与视觉对比学习不同： (1) 增加视图的数量，即增加，到超过两个视图并不能提高性能，最佳性能是通过对比一阶邻居的编码和一般的图扩散。(2) 与对比图形图或多尺度编码相比，跨视图对比节点和图编码在两个任务上都获得了更好的结果。(3) 与可微池（DiffPool）等分层图池方法相比，一个简单的图读出层在这两个任务上都取得了更好的性能。(4) 应用正则化（提前停止除外）或归一化层对性能有负面影响。通过利用这些发现，论文得以提出模型。 【方法】 本 ...