预训练语言模型必读文献01-Semi-supervised Sequence Learning
Semi-supervisedSequence Learning
作者提出了两个过程来利用未标注的数据来提高循环神经网络序列学习。一个过程是预测序列中下一个元素，这是自然语言处理中的传统语言模型；而第二个过程是利用序列自编码器，该编码器将输入的序列读入成向量，然后再次预测输入的序列。这两个算法可以当做随后的监督训练学习的预训练步骤。
图2：
Semi-supervisedSequence Learning
作者提出了两个过程来利用未标注的数据来提高循环神经网络序列学习。一个过程是预测序列中下一个元素，这是自然语言处理中的传统语言模型；而第二个过程是利用序列自编码器，该编码器将输入的序列读入成向量，然后再次预测输入的序列。这两个算法可以当做随后的监督训练学习的预训练步骤。
图2：