有业界老师认为,深度学习NLP到目前为止,有四大里程碑,分别是,
1.2003年2月,深度学习大神YoshuaBengio,与他的学生共同发表论文《ANeural ProbabiIistic Language Model》,把深度学习引
入自然处理领域,把自然语言的词汇,转换成数值向量。从此,自然语言处理的基本研究方法,发生质的飞跃。这是深度学习NLP的第一个里程
碑。
2.2016年5月,SequencetoSequence技术日臻成尤其是引入聚焦机制,如虎添翼。这是深度学习NLP的第二个里程碑,代表作
是YoshuaBengio大神与他的学生们,共同执笔的论文《NeuraI Machine TransIation by Jointly Learning Alignand Translate》
3.2017年6月,谷歌的AshishVaswani等人,发表论文《Attention is All You Need》对NLP使用的深度学习模型,做了革命性的改进。这是深度学习NLP的第三个里程碑。
4.2018年10月,谷歌的JacobDevlin等人,发表的这篇BERT论文,很可能是第四个里程碑。不仅提议了一个通用的语言模型,而且用非监督
的办法做预训练,用有监督的办法做精加工,取得了惊艳的效果。