有业界老师认为，深度学习NLP到目前为止，有四大里程碑，分别是，
1．2003年2月，深度学习大神YoshuaBengio，与他的学生共同发表论文《ANeural ProbabiIistic Language Model》，把深度学习引
入自然处理领域，把自然语言的词汇，转换成数值向量。从此，自然语言处理的基本研究方法，发生质的飞跃。这是深度学习NLP的第一个里程
碑。
2．2016年5月，SequencetoSequence技术日臻成尤其是引入聚焦机制，如虎添翼。这是深度学习NLP的第二个里程碑，代表作
是YoshuaBengio大神与他的学生们，共同执笔的论文《NeuraI Machine TransIation by Jointly Learning Alignand Translate》
3．2017年6月，谷歌的AshishVaswani等人，发表论文《Attention is All You Need》对NLP使用的深度学习模型，做了革命性的改进。这是深度学习NLP的第三个里程碑。
4．2018年10月，谷歌的JacobDevlin等人，发表的这篇BERT论文，很可能是第四个里程碑。不仅提议了一个通用的语言模型，而且用非监督
的办法做预训练，用有监督的办法做精加工，取得了惊艳的效果。