释义识别概念1.两个问题具有相同的语义(二分类),即如果两个问题的答案完全相同,那么这两个问题是相互释义的。2.检查检索到的问题是否是输入问题的定义。ModelArchitecture模型分为四个部分:encoder、attentionalignment、matchingaggregation、bi-predictionnetwork。该模型利用双向递归神经网络将先行问题编码为短语向量,然后使用注意力机制从候选问题中提取软对齐的对应短语嵌入。最终的相似度分数是基于两个蕴含方向的聚合短语比较生成的。该模型是对称的,两侧共享参数。即使在中等规模的数据集上,也可以有效地训练模型参数。如果有两个疑问句A和B,A表示为,B表示为;A问题词的个数是,B问题词的个数是;每个词都在两个句子的中间,总和属于词汇表。训练集由带标签的文本对组成,这些文本对是二进制标签,表示A问题()是否是B问题()的解释。目标是预测它是否被释义。一、encoder的目的:获得每个单词的denserepresentation(捕捉上下文的意思)1.利用mixedembeddingmatrix将其映射成d维向量;词嵌入矩阵(从大型语料库训练得到,训练时会修正);一个随机初始化的可训练嵌入矩阵。混合设置的目的是微调嵌入并避免过早偏离预先训练的表示以识别特定领域的词义语义。2.编码器将词嵌入序列转换为上下文向量列表H=,其中H的大小随段落的长度而变化。它由两层堆叠双向递归神经网络(BRNN)组成,利用两侧的上下文。BRNN编码器使用两个独立的隐藏子层处理来自两个方向的数据。表示为:是LSTM中的激活单元。当前时间步的输出由两个方向的隐藏向量之和级联而成;BRNN的上层将下层的输出作为输入并进一步生成。最终编码的上下文向量是嵌入向量和两层输出的总和。二。注意对齐目的:从另一个句子的编码序列中收集一个软对齐的上下文向量。1.为每对上下文向量计算一个基于内容的分数,它衡量总和的第j个上下文向量的相关性。2.将相关分数归一化为注意力权重。3.生成软对齐的短语向量,它是注意力权重和上下文向量的加权和。3.匹配聚合给定H及其软对齐向量,问题被简化为比较对齐短语向量的序列。每对对齐的向量首先合并成一个匹配向量;然后由RNN层扫描,最后一个时间戳的输出作为最终的聚合向量。4.双向预测网络预测网络由两层批量归一化多层感知器、一个MaxOut神经网络和一个根据上述匹配聚合向量生成蕴涵分数的线性层组成。然而,注意力对齐、匹配聚合和预测网络只能检查一个句子中的信息是否被另一个句子覆盖。为了识别释义,我们使用共享网络从两个方向的问题对中计算蕴含分数。最后,将两个分数相加,并使用一个Logistic层来预测标签P。
