闲谈深度学习在自然语言处理领域的5大关键优势.doc

《闲谈深度学习在自然语言处理领域的5大关键优势.doc》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、闲谈深度学习在自然语言处理领域的5大关键优势　　在自然语言处理领域，深度学习将给予最大的帮助，深度学习方法主要依靠一下这五个关键优势，阅读本文将进一步了解自然语言处理的重要深度学习方法和应用。　　在自然语言处理领域，深度学习的承诺是：给新模型带来更好的性能，这些新模型可能需要更多数据，但不再需要那么多的语言学专业知识。　　　　关于深度学习方法有很多炒作和大话，但除了炒作之外，深度学习方法正在为挑战性问题取得最先进的结果，特别是在自然语言处理领域。　　在这篇文章中，您将看到深度学习方法应对自然语言处理问题的具体前景。看完这篇文章后，你会知道：　　1.自然语言

2、处理深度学习的承诺。　　2.深度学习从业人员和研究科学家对自然语言处理深度学习的承诺有什么说法。　　3.自然语言处理的重要深度学习方法和应用。深度学习的承诺　　深度学习的方法很受欢迎，主要是因为它们兑现了当初的承诺。　　这并不是说在技术上没有任何炒作，而是说，这种炒作是基于非常真实的成果。这些成果正在从计算机视觉和自然语言处理的一系列极具挑战性的人工智能问题中得到证实。　　深度学习力量的第一次大型展现，就是在自然语言处理领域，特别是在语音识别方面。最近的进展则是在机器翻译方面。　　在这篇文章中，我们将看到，自然语言处理领域的深度学习方法的五个具体承诺。这些

3、承诺是这个领域的研究人员和从业人者最近所强调的，而这些人面对这些承诺的态度比一般的新闻报道要克制得多。总而言之，这些承诺是：　　深度学习插入替换现有模型。深度学习方法可以插入现有的自然语言系统，由此产生的新模型可以实现同等或更好的性能。　　新NLP模型。深度学习方法提供了新的建模方法以挑战自然语言问题（如序列-序列预测）。　　特征学习。深度学习方法可以从模型所需的自然语言中学习特征，而不需要专家指定、提取特征。、　　持续改进。自然语言处理中的深度学习的表现是基于真实世界的结果，并且所带来的改进正在持续，还可能加速。　　端对端模型。大型端对端深度学习模型可以

4、适应自然语言问题，提供更一般和更好的方法。　　我们现在将仔细看看这些承诺中的每一个。其实自然语言处理深度学习还有一些其他承诺;，这些只是我从中选择的最突出的五个。深度学习插入替换现有模型　　自然语言处理中的深度学习的第一个承诺是，能够用具有更好性能的模型替代现有的线性模型，能够学习和利用非线性关系。　　YoavGoldberg在他的《NLP研究人员神经网络入门》中强调，深度学习方法取得了令人印象深刻的成果，他说在此文中说：“最近，神经网络模型也开始应用于文本自然语言信号，并再次带来了非常有希望的结果。”　　他还继续强调，这些方法易于使用，有时可用于批量地替

5、代现有的线性方法。他说：“最近，该领域在从稀疏输入的线性模型切换到稠密数据的非线性神经网络模型方面取得了一些成功。大多数神经网络技术都很容易应用，有时候几乎可以替代旧的线性分类器；不过，在许多情况下仍存在着使用神经网络的障碍。”新NLP模型　　另一个承诺是，深度学习方法有助于开发全新的模型。　　一个很好的例子是，使用能够学习和判断超长序列输出的循环神经网络。这种方法与从前的完全不同，因为它们允许NLP从业者摆脱传统的建模假设，并实现最先进的结果。　　YoavGoldberg在其NLP深度学习的专著《自然语言处理的神经网络方法》第xvii页指出，像循环神经网

6、络这样复杂神经网络模型可以带来全新的NLP建模机会。他说，“在2014年左右，该领域已经开始看到，在从稀疏输入的线性模型到稠密输入的非线性神经网络模型的转换方面，已取得了一些成功。。……其他的变化更高级，需要研究者改变思维，并能带来新的建模机会。特别是，基于循环神经网络（RNNs）的一系列方法减轻了对序列模型中普遍存在的马尔可夫假设的依赖，允许以任意长序列为条件，并产生了有效的特征提取器。这些进步导致了语言建模、自动机器翻译和其他应用的突破。”特征学习　　深度学习方法具有学习特征表示的能力，不必要求专家从自然语言中人工指定和提取特征。　　NLP研究员Chr

7、isManning在自然语言处理深度学习课程的第一次讲座中突出了这方面的观点。　　他描述了人工定义输入特征的局限性：按照这种方法，在之前的应用中，机器学习只是在统计NLP中证明人类事先定义的特征，并且计算机几乎没有学习。　　Chris认为，深度学习方法带来的承诺是自动特征学习。他强调，特征学习是自动的，而不是人工；它易于适应，不脆弱，并可以不断自动地改善。　　ChrisMining在2017年的《自然语言处理与深度学习》讲座第一讲幻灯片中说，“一般来说，我们人工设计的特征往往被过度地指定，它们不完整，需要很长时间才能设计和验证，会让你忙活一天后只能达到有限

8、的性能水平。而深度学习到的特征易于适应，能快速训练，它们可以持续学