论文部分内容阅读
自然语言处理（NLP）研究从早期基于规则的方法转向基于特征分析的机器学习,再转向无需事先进行特征抽取的深度学习,发展很快,但因其需要的文本数据量越来越大,模型训练所需的标注工作量巨大,对算力的要求也越来越高,而难以被广泛应用。基于Transformer的预训练语言模型（T-PTLM）提供了一个新的研究和应用路径:通过大规模无标注文本数据广泛学习语言现象,使模型具有很强的通用性,然后将模型进行迁移和微调,在NLP的许多具体任务应用中均取得了很好的效果。