简介:
本发明提供了一种基于连词标记和强化学习的自然语言推理方法,包括以下步骤:(1)在连词预测任务上训练一个连词预测模型;(2)在自然语言推理模型中,输入前提和猜想文本并使用编码器对其编码,得到表达矩阵;(3)将连词预测模型的编码器嵌入到自然语言推理模型中,将步骤(2)编码过程中得到的前提和猜想的词向量送入预训练好的编码器并输出表达向量;(4)将自然语言推理模型的编码器和嵌入的连词预测模型中的编码器在注意力机制中交互,得到一个注意力向量;(5)将注意力向量转化为概率分布并输出结果。利用本发明,通过迁移其他监督学习任务所学到的知识,大大提升了在大规模数据集上进行自然语言推理任务的准确率。
本发明提供了一种基于连词标记和强化学习的自然语言推理方法,包括以下步骤:(1)在连词预测任务上训练一个连词预测模型;(2)在自然语言推理模型中,输入前提和猜想文本并使用编码器对其编码,得到表达矩阵;(3)将连词预测模型的编码器嵌入到自然语言推理模型中,将步骤(2)编码过程中得到的前提和猜想的词向量送入预训练好的编码器并输出表达向量;(4)将自然语言推理模型的编码器和嵌入的连词预测模型中的编码器在注意力机制中交互,得到一个注意力向量;(5)将注意力向量转化为概率分布并输出结果。利用本发明,通过迁移其他监督学习任务所学到的知识,大大提升了在大规模数据集上进行自然语言推理任务的准确率。