【.com原创文章】《自然语言处理》(NaturalLanguageProcessing,简称NLP)是近年来科技界最火的词之一,也是最热门的词之一人工智能研究领域。自然语言处理推动了语言智能的不断发展和突破,越来越多地应用于各行各业。正如国际知名学者周海中先生曾说过:“自然语言处理是一个极具吸引力的研究领域,具有重大的理论意义和实用价值。”那么,NLP到底是什么?究竟是什么在“加工”?这些问题值得人们讨论和关注。所谓NLP是计算机科学和人工智能领域的一个重要方向;它研究各种可以利用自然语言实现人与计算机之间有效交流的理论和方法。NLP主要应用于机器翻译、语音识别、知识问答、自动摘要、舆情监测、观点抽取、知识库构建、文本语义比较、深度学习算法、语音识别与合成等。因此,NLP具有非常重要的实用价值应用意义,也具有革命性的理论意义。实现人机之间的自然语言交流,是指使计算机能够理解自然语言文本的含义,并在自然语言文本中表达给定的意图、思想等;前者称为自然语言理解,后者称为自然语言生成。因此,NLP一般包括自然语言理解和自然语言生成两部分。因为处理自然语言的关键是让计算机“理解”自然语言,自然语言理解通常被认为是NLP,也被称为计算语言学。它的最终目标是用自然语言与计算机进行交流,让人们可以用自己最习惯的语言来使用计算机,而不用花大量的时间和精力去学习各种不太自然的计算机语言习惯性的。NLP是人工智能中最困难的问题之一。美国微软公司创始人比尔·盖茨先生曾说过,“语言理解是人工智能领域皇冠上的明珠”。微软公司前全球执行副总裁沉向阳先生也在一次公开演讲中表示:“懂语言者得天下……未来十年,人工智能的突破口将在于对语言的理解。”自然语言……人工智能对人类影响最深远的是自然语言”。由于理解自然语言需要广泛的关于外部世界的知识以及使用和操纵这些知识的能力,因此NLP也被认为是解决人工智能(AI-complete)的核心问题之一。NLP的基本任务包括正则表达式、分词、词法分析、语音识别、文本分类、信息检索、问答系统——比如回答一些问题或者与用户交互——机器翻译等;Cove模型、朴素贝叶斯、递归神经网络等。NLP需要用到语言知识。例如UNIX的wc程序可以用来计算一个文本文件的字节数、字数或行数;当用于计算字节数和行数时,wc仅用于一般数据处理,但是当用于计算文件中的单词数时,需要“什么是单词”的语言知识,所以这个wc也成为了一个NLP系统。无论是实现自然语言理解还是自然语言生成,远没有人们最初想象的那么简单,而是非常困难。从现有的理论和技术现状来看,一个通用的、高质量的NLP系统仍然是一个比较长期的目标,但是对于某些应用,已经出现了具有相当NLP能力的实用系统,有的已经商业化甚至启动要产业化。改变。典型的例子有:专家系统的多语言数据库和自然语言接口、各种机器翻译系统、全文信息检索系统、自动摘要系统等。NLP系统的算法是基于机器学习,尤其是统计机器学习;许多不同类别的机器学习算法已应用于NLP任务。深度学习在NLP中被广泛使用。可以说它横扫了NLP的方方面面,从低层的分词、语言模型、句法分析等,到高层的语义理解、对话管理、知识问答等,深度学习模型几乎都有,并取得了良好的效果。研究已经从传统的机器学习算法转向更具表现力的深度学习模型,例如卷积神经网络和递归神经网络。但是,目前的深度学习技术还不具备理解和使用自然语言所必需的概念抽象和逻辑推理能力,未来还需要进一步研究。总而言之,随着互联网的普及和海量信息的出现,作为人工智能的核心技术,NLP在人们的工作、学习、生活中发挥着越来越重要的作用,并将在社会进程中发挥越来越大的作用。发展和技术进步。发挥着越来越重要的作用。【原创稿件,合作网站转载请注明原作者和出处为.com】
