介绍亚马逊团队在ACL2022中的一篇论文VaSCL，该论文在SimCSE的基础上，提出了一种基于k近邻与高斯噪声的虚拟困难样本增强方法。作者在无监督训练中，进行困难样本增强，从而提高了模型的性能，并且超过了SimCSE。

image-20221011152741329

01

引言

image-20221011152741329

基于Dropout的对比损失

image-20221011152741329

基于k近邻的虚拟增强对比损失

image-20221011152741329 image-20221011152741329

VaSCL对比损失

image-20221011152741329

实验结果

image-20221011152741329

image-20220609082705060

image-20220609082724403

image-20221011152741329

总结

image-20221011152741329