本文为本人在学习预训练语言模型时收集的相关资料
（一）从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史（张俊林dalao总结，强烈推荐）
（二）从Seq2Seq，Attention，Transformer到ELMo，BERT，GPT-2
1、从Seq2Seq，Attention，Transformer到ELMo，BERT，GPT-2（一）
2、从Seq2Seq，Attention，Transformer到ELMo，BERT，GPT-2（二）
（三）NLP课程：Encoder-Decoder框架、Attention、Transformer、ELMO、GPT、Bert学习总结 概括了ELMo、GPT、BERT等的优缺点
（四）从Transformer、BERT到GPT2和XLNet：高端玩家如何用论文互怼 以故事形式介绍了预训练语言模型
来源：CSDN
作者：疯人张
链接：https://blog.csdn.net/MIC10086/article/details/104125732