大家好，我是对话。这次我选择了ICLR2021中NLP领域下的六篇文章进行解读，包括文本生成、自然语言理解、预训练语言模型训练和debiasing，以及文本匹配和文本检索。我从这些论文中借鉴了一些思路，运用到公司自己的业务中，最终取得了不错的效果。ContrastiveLearningwithAdversarialPerturbationsforConditionalTextGenerationtask:end-to-endtextgeneration本文旨在解决文本生成任务中的exposurebias问题，即在文本生成的自回归形式的生成任务中，解码器的输入一直是groundtruth的token，没有遇到错误的生成结果。本文通过引入对比学习损失让模型区分正样本和负样本来解决这个问题，将模型暴露在不同的噪声情况下。然而，完全随机生成噪声样本可能会导致模型非常容易区分，特别是对于预训练模型。因此，本文提出了一种抗扰动的方法，加入扰动使得正样本有更高的似然；负样本的可能性较低。CoDA:Contrast-enhancedandDiversity-promotingDataAugmentationforNaturalLanguageUnderstandingtask:naturallanguageunderstanding,enhancedtextrepresentationinthefine-tunestage本文主要研究文本领域的数据增强方法，主要研究以下问题：Whichenhancement方法可以应用于文本？这些增强是否互补，是否可以找到某种策略来整合它们以产生更多样的增强示例？如何将得到的增广样本有效地融入到训练过程中呢？作者考虑了文本的五种数据增强方法：back-translationc-BERTwordreplacementmixupcutoffconfrontationtraining进一步，作者考虑了三种不同的数据增强策略来探索问题1和2，如上图所示：randomselection:randomly为小批量中的每个样本选择一种数据增强方法；mixup:通过mixupstrategy将mini-batch中的两个样本随机组合，叠加不同的增强方法：在第三个问题——如何更好的融入到finetune任务中，提出了contrastiveloss。实验发现，两种增强的叠加可以进一步提升性能。在GLUE上进行实验，平均分比Baseline提高了2分。FairFil:ContrastiveNeuralDebiasingMethodforPretrainedTextEncodersTask:PretrainedLanguageModelDebiasing本文使用对比学习来消除预训练语言模型生成的文本表示中的偏差因素（如性别偏差、种族偏差等）。为此，本文训练了一个额外的映射网络，将语言模型生成的文本表示转换为另一种表示，可以达到对新生成的表示进行去偏的效果。本文的创新点在于：将原文中的偏见词替换为反义词（如man<->woman；her<->his；she<->he），从而构建增强文本。通过比较loss，在转换后的representation中，最大化了两者的mutualinformation；为了进一步消除文本中隐含的偏见，提出了一个额外的损失来最小化生成的句子表示和有偏见的词表示的互信息。TowardsRobustandEfficientContrastiveTextualRepresentationLearningtask:languagemodelpre-training本文分析了目前使用对比学习进行文本表示学习的问题（2.2节），包括：在对比学习中，如果使用KL散度作为训练目标，training过程会不稳定；对比学习需要大量的负样本，效率低下。对于第一个问题，作者添加了一个Wasserstein约束来增强其训练的稳定性；对于第二个问题，作者提出只采样最近的K个负样本，称为ActiveNegative-sampleselection（和NIPS那篇文章：HardNegativesMixing类似）。从小的、长尾文本数据任务中自我监督对比零到少样本学习：文本匹配；multi-labeltextclassification本文主要尝试解决多标签文本分类问题，尤其是长尾标签问题（即当数据较少时，类别分布往往不均匀，会出现大量标签只出现一次或两次，而少量类别频繁出现）。本文主要将多标签分类任务建模为类似于文本匹配的形式。会采样不同的正负标签，也会从句子中采样文本片段，形成伪标签。这四种形式的标签（正标签、负标签、正伪标签和负伪标签）被编码并与句子代码连接。在一个匹配层之后，使用二元交叉熵损失（BCE）或NCE损失（区分正例和负例）来训练匹配模型。ApproximateNearestNeighborNegativeContrastiveLearningforDenseTextRetrievalTask:DenseTextRetrieval本文研究文本检索领域。与传统的使用词级别的检索（稀疏检索）不同，本文通过训练文本表示（称为DenceRetrieval，DR）来进行文本检索。DR包括两个阶段：预训练模型将文本编码成向量，训练目标是使相似的对具有最大的相似度得分；通过训练好的编码模型，对文本进行编码和索引，根据query搜索的相似度执行。本文主要关注第一阶段，即如何训练好的表示。本文从一个假设出发：负样本采样方法是限制DR性能的瓶颈。本文的贡献：提出了一种更好的负采样方法来采样高质量的不同对；本文提出的效果可以使训练收敛更快；本文提出的方法比基于BERT的方法效率提高100倍，同时达到了相似的精度。本文提出的负采样方法是一种不断迭代的形式，利用ANN指标的结果进行负样本采样，然后进一步训练模型；模型训练完成后，用于更新文档表示和索引。
