在自然语言处理领域，深度学习的承诺是为可能需要更多数据但不再需要的新模型带来更好的性能需要尽可能多的语言专业知识。关于深度学习方法有很多炒作和大谈特谈，但尽管有炒作，深度学习方法正在为具有挑战性的问题取得最先进的结果，尤其是在自然语言处理领域。在本文中，您将看到深度学习方法对自然语言处理问题的具体承诺。阅读本文后，您将了解：深度学习对自然语言处理的承诺。深度学习从业者和研究科学家对深度学习对自然语言处理的前景有何看法。自然语言处理的重要深度学习方法和应用。开始吧。深度学习的前景深度学习方法之所以流行，很大程度上是因为它们兑现了最初的承诺。这并不是说该技术没有任何炒作，但炒作是基于非常真实的结果。这些结果正在计算机视觉和自然语言处理中一系列最具挑战性的AI问题中得到证明。深度学习的力量的第一个主要展示是在自然语言处理领域，尤其是在语音识别领域。最近的进展是机器翻译。在这篇文章中，我们将探讨深度学习方法在自然语言处理领域的五个具体承诺。该领域的研究人员和从业者最近强调了这些承诺，他们以比新闻报道中典型的克制得多的方式面对这些承诺。总而言之，承诺是：深度学习插件来替代现有模型。深度学习方法可以插入现有的自然语言系统，由此产生的新模型可以达到同等或更好的性能。新的自然语言处理模型。深度学习方法为具有挑战性的自然语言问题（例如序列到序列预测）提供了新的建模方法。特征学习。深度学习方法可以从模型所需的自然语言中学习特征，而不需要专家指定和提取特征，不断改进。深度学习在自然语言处理中的表现是基于现实世界的结果，由此产生的改进正在继续并可能加速。端到端模型。大型端到端深度学习模型可以适应自然语言问题，提供更通用和更好的方法。我们现在将仔细研究这些承诺中的每一个。对于NLP，深度学习实际上还有其他一些承诺；这些只是我选择脱颖而出的五个。深度学习插入替换现有模型深度学习在自然语言处理中的第一个承诺是能够用性能更好的模型替换现有的线性模型，能够学习和利用非线性关系。YoavGoldberg在他的《NLP研究人员神经网络入门》中强调了深度学习方法所取得的令人印象深刻的成果，在这篇论文中说：“最近，神经网络模型也开始应用于文本自然语言信号，并再次带来非常有希望的结果。”他还继续强调这些方法易于使用，有时可以用来批量替换现有的线性方法。“最近，该领域在从具有稀疏输入的线性模型切换到具有密集数据的非线性神经网络模型方面取得了一些成功，”他说。“大多数神经网络技术都很容易应用，有时几乎可以取代旧的线性分类。但是，在许多情况下，使用神经网络的障碍仍然存在。新NLP模型的另一个前景是深度学习方法可以帮助开发全新的模型。一个很好的例子是使用能够学习和判断非常长的序列输出的递归神经网络。这些方法与以前的方法截然不同，因为它们允许NLP从业者摆脱传统的建模假设并获得最先进的结果。YoavGoldberg在他的NLP深度学习专着《自然语言处理的神经网络方法》第xvii页指出，递归神经网络等复杂的神经网络模型可以带来新的NLP建模机会。他说，“大约在2014年，该领域开始看到一些成功，从具有稀疏输入的线性模型过渡到具有密集输入的非线性神经网络模型......其他变化更高级，需要研究人员改变他们的思维并且可以带来新的建模机会。特别是基于递归神经网络（RNN）的一系列方法减轻了对序列模型中普遍存在的马尔可夫假设的依赖，允许对长序列进行任意条件化并产生高效的特征提取器。这些进步带来了突破在语言建模、自动机器翻译和其他应用程序中。”特征学习深度学习方法具有学习特征表示的能力，而不需要专家从自然语言中学习手动指定和提取特征。NLP研究员ChrisManning在他关于自然语言处理的深度学习的第一场讲座中强调了这一方面。他描述了手动定义输入特征的局限性：按照这种方法，在以前的应用中，机器学习在统计NLP中只证明了以前由人类定义的特征，而计算机学到的东西很少。根据Chris的说法，深度学习方法带来的前景是自动特征学习。他强调特征学习是自动的，而不是人为的；它易于适应，不脆弱，可以自动持续改进。ChrisMining在2017年的《自然语言处理与深度学习》lecture***presentationslides中说，“总的来说，我们人为设计的特征往往是过度指定的，它们是不完整的，需要很长时间来设计和验证，并且使你只能实现一个忙碌了一天后，表现水平有限。虽然深度学习的特征很容易适应并且可以快速训练，但它们可以继续学习以达到前所未有的更好的性能水平。持续改进NLP的深度学习的另一个承诺是对具有挑战性的问题进行持续快速改进。ChrisManning在《自然语言处理与深度学习》讲座中表示，深度学习方法之所以受欢迎，是因为它们有效。它对大多数人来说如此令人兴奋的真正原因是它确实有效。”他强调，深度学习的初步成果令人印象深刻。过去30年来，深度学习在语音领域的表现优于任何其他方法。克里斯提到，深度学习不仅带来了先进的成果，而且速度更快持续改进的进步。他说，“......在过去的六七年里，深度学习方法一直在以令人难以置信的速度不断改进和完善，这是非常惊人的。我其实想说，这是最好的，我看到这个领域正在飞速发展，每个月都会推出更好的方法。“端到端模型的承诺深度学习的最终承诺是能够针对自然语言问题开发和训练端到端模型，而不是为专门模型开发管道。端到端模型不仅提高模型性能，同时也带来更好的开发速度和简单性。神经机器翻译，简称NMT，是指试图学习将一种语言翻译成另一种语言的大型神经网络。传统上，这由一系列手动调整的模型组成过程，而过程中的每个模型都需要专门的语言知识。ChrisManning在斯坦福大学NLP深度学习课程的第十讲《神经机器翻译和注意模型》中描述了这一点，他说：“神经机器翻译意味着我们想要做的是建立一个大型神经网络，我们可以在其中训练和优化整个端到端机器翻译过程。......这种趋势远离手工制作的模型，转向端到端、序列到序列的预测模式ls一直是语音识别的趋势。执行此操作的系统称为NMT（神经机器翻译）系统。设计一个端到端的模型，而不是为一个adhoc系统设计一个pipeline，也是语音识别的一个趋势。在斯坦福NLP课程《语音处理的端到端模型》的第12讲中，目前在Nvidia工作的NLP研究员NavdeepJaitly强调，语音识别的每一个组成部分都可以被神经网络取代。自动语音识别管道中的大块是语音处理、声学模型、发音模型和语言模型。问题是，每个块的属性和错误类型都不同。这激发了开发神经网络以端到端地学习整个问题的需要。他说，“随着时间的推移，人们开始注意到，如果我们使用神经网络，这些组件中的每一个都可以做得更好。......但是，仍然存在一个问题。每个组件都有自己的神经网络，但每个组件中的错误是不同的，所以它们可能不能很好地协同工作。所以这给了我们尝试将整个语音识别训练为一个大模型的动力。”深度学习网络的自然语言处理类型深度学习是一个很大的研究领域，并不是所有关于它的内容都与自然语言处理相关。哪些类型的深度学习模型可以提高性能？学习者很容易陷入具体的优化方法中。在较高层次上，深度学习中有5种最广泛用于自然语言处理的方法。它们是：嵌入层多层感知器(MLP)卷积神经网络(CNN)循环神经网络(RNNs)循环神经网络(ReNNs)NLP中的问题类型深度学习不会完全解决自然语言处理问题或人工智能问题。迄今为止，深度学习方法已针对自然语言处理中的广泛问题进行了评估，并在其中一些问题上取得了成功。这些成功表明，使用深度学习可以获得比以前更高的性能或功能。重要的是，深度学习方法取得最大成功的领域恰恰是那些更面向最终用户、更具挑战性和更有趣的问题。深度学习成功的5个例子包括：词表示和词义文本分类语言建模机器翻译语音识别进一步阅读
