当前位置: 首页 > 科技观察

什么是自然语言处理(NLP)?_0

时间:2023-03-12 13:15:23 科技观察

【.com快译】自然语言处理(NLP)的定义自然语言处理(NLP)是人工智能的一个分支,能够使计算机像人类一样理解、处理和生成语言。搜索引擎、机器翻译和语音助手都由该技术提供支持。虽然该术语最初指的是人工智能系统的阅读能力,但它现在已成为所有计算语言学的口语化术语。它的子类别包括自然语言生成(NLG)——计算机自行创建交流的能力——和自然语言理解(NLU)(理解俚语、发音错误、拼写错误和其他语言变体的能力)。自然语言处理(NLP)的工作原理自然语言处理(NLP)通过机器学习工作。机器学习系统存储单词以及它们如何像任何其他形式的数据一样组合。短语、句子,有时甚至整本书都被输入机器学习引擎,在那里使用语法规则或人们的现实语言习语或两者进行处理。然后计算机使用这些数据来寻找模式并推断接下来会发生什么。以翻译软件为例:在法语中,“I'mgoingtothepark”是“Jevaisauparc”,因此机器学习预测“I'mgoingtotheshop”也会以“Jevaisau.“自然语言处理(NLP)的应用机器翻译是自然语言处理(NLP)的强大应用,但搜索是最常见的用法。每次人们在Google或Bing搜索引擎中查找内容时,数据都会被人为输入到系统中。当您单击搜索结果时,搜索引擎会将此解释为已找到正确结果的确认,并使用此信息在将来更好地进行搜索。聊天机器人的工作方式相同:它们与Slack、MicrosoftMessenger和其他聊天程序集成,可以读取人们使用的语言,然后在他们键入触发短语时打开它们。像Siri和Alexa这样的语音助手在听到“嘿Alexa”这样的短语时会做出回应,这就是为什么批评者指责这些AI程序一直在倾听的原因:如果他们不这样做,他们永远不知道人们什么时候需要他们。除非人们自己打开应用程序,否则自然语言处理(NLP)程序必须在后台运行并等待短语出现。自然语言处理(NLP)的示例数据有多种形式,但最大的未使用数据池由文本组成。专利、产品说明书、学术出版物、市场研究、新闻和社交媒体文章都以文本为主要组成部分,而且文本的数量还在不断增长。将该技术应用于语音,数据池变得更大。以下是组织如何使用自然语言处理(NLP)技术的三个示例:(1)全球管理咨询服务提供商埃森哲使用自然语言处理(NLP)技术分析合同:“埃森哲法律智能合约浏览器(ALICE))”工具通过执行文本搜索来搜索合同条款,帮助公司的2,800名专业人员处理数百万份合同。ALICE工具使用“嵌入词”逐段浏览合同文件,寻找关键字以确定每一段是否与特定合同条款类型相关。(2)美国电信公司Verizon使用自然语言处理(NLP)技术处理客户请求:Verizon的业务服务保证团队使用自然语言处理(NLP)技术和深度学习自动处理客户请求注释。该团队每月收到超过100,000个入站请求。其人工智能支持服务可以读取维修单并自动响应最常见的请求,例如报告当前维修单状态或维修进度更新。更复杂的问题将交给工程师。(3)PublicElectricElectricandGas((PSE&G)HelpingCustomerswithVirtualAssistants:新泽西州公用事业公司使用虚拟助理技术和其他数字服务,使他们的客户能够通过语音命令管理他们的电力或天然气账户,这是使用AmazonInc.提供的AlexaSkillsKit自然语言处理(NLP)软件无论组织是在构建聊天机器人、语音助手、预测文本应用程序,还是其他以NLP为核心应用程序的应用程序,都需要工具来帮助实现这一点。这里有一些受开发人员欢迎的软件工具,包括:自然语言工具包(NLTK)。自然语言工具包(NLTK)是一个开源框架,用于构建Python程序以处理人类语言数据。它由计算机和信息部开发宾夕法尼亚大学的科学和包装器提供了超过50个语料库和词汇库,一个文本处理library,以及一个用于浏览器和论坛的自然语言处理接口的库。NaturalLanguageToolkit(NLTK)在Apache2.0许可下提供。SpaCy。SpaCy是一个为生产目的而非研究目的而设计的高级自然语言处理开源库。SpaCy在设计时考虑了先进的数据科学,并允许进行深度数据挖掘。SpaCy由麻省理工学院开发并获得许可。Gensim。Gensim是一个开源的Python库。独立于平台的库支持可扩展的统计语义、纯文本文档的语义结构分析以及检索语义相似文档的能力。它旨在在没有人工监督的情况下处理大量文本。亚马逊理解。这项亚马逊服务不需要机器学习经验。它旨在帮助组织从电子邮件、客户评论、社交媒体和其他文本中找到见解。它使用情感分析、词性提取和标记化来分析词语背后的意图。IBM沃森音频分析器。这种基于云的解决方案专为社交聆听、聊天机器人集成和客户服务监控而设计。它可以分析客户帖子中的情绪和语气,并监控客户服务电话和聊天对话。谷歌云翻译。该API使用自然语言处理(NLP)检查源文本以确定语言,然后使用神经机器翻译将文本动态翻译成另一种语言。该API允许用户将功能集成到他们自己的程序中。自然语言处理(NLP)课程有许多资源可用于学习创建和维护NLP应用程序,其中许多是免费的。其中包括:DataCamp中Python自然语言处理简介。这个免费课程提供15个视频和51个练习文件,涵盖了使用Python进行自然语言处理(NLP)的基础知识,包括如何识别和分离单词、提取文本中的主题以及构建您自己的假新闻分类器。Udemy上的自然语言处理(NLP)简介。本入门课程提供使用Python和自然语言工具包处理和分析文本的经验。它包括三个小时的点播视频、三篇文章和16个可下载资源。该课程的费用为19.99美元,并附有结业证书。Udemy的Python自然语言处理(NLP)。本课程面向具有任何语言的基本编程经验、理解面向对象编程概念、基础到中级数学知识以及矩阵运算知识的个人。它完全基于项目,涉及构建一个文本分类器来实时预测推文的情绪,以及一个获取文章并提取摘要的文章摘要器。该课程包括10.5小时的点播视频和8篇文章。该课程的费用为19.99美元,并附有结业证书。edX的自然语言处理(NLP)。这个为期六周的课程由MicrosoftCorporation通过edX提供,概述了自然语言处理和经典机器学习方法的使用。它涵盖了统计机器翻译和深度语义相似性模型(DSSM)及其应用。它还涵盖了应用于自然语言处理(NLP)和视觉语言多模式智能的深度强化学习技术。这是一门高级课程,完成该课程的人只需99美元即可获得认证证书。Coursera的自然语言处理。该课程是Coursera高级机器学习专业的一部分,涵盖自然语言处理任务,包括情感分析、摘要、对话状态跟踪等。Coursera表示,这是一门高级课程,估计需要五周的学习时间,每周需要四到五个小时的学习时间才能完成。Coursera在TensorFlow中进行自然语言处理。该课程是Coursera实践专业化TensorFlow的一部分,涵盖使用TensorFlow构建自然语言处理系统,该系统处理文本并将句子输入神经网络。Coursera表示,这是一门中级课程,估计需要4周的学习时间,每周需要4到5个小时才能完成。原标题:什么是NLP?自然语言处理解释,作者:TerenaBell,ThorOlavsrud