当前位置: 首页 > 科技观察

如何让机器更懂你?是时候了解NLP

时间:2023-03-17 23:16:19 科技观察

自然语言处理(NLP)在语音和文本方面的改进将有助于推动主流技术的发展。例如,当用自然人的发音朗读一封电子邮件时,如果用户对电子表格中的数据提出疑问,Excel将自动以图表和数据透视表的形式回答相关问题。随着NLP越来越准确和广泛使用,它不仅可以支持前置话题聊天机器人,还可以处理半结构化和非结构化数据。知识挖掘功能可以帮助用户洞察业务流程、资产负债信息,从而帮助创建更合理的工作流程,实时监控企业运营。NLP有广泛的应用。翻译和语言生成、分类和聚合、情感分析和其他信息提取、Siri等虚拟助手都在NLP应用范围内。简单的NLP,例如拼写检查和建议对电子邮件和消息的回复,如今已得到广泛使用。Apexanalytix应用和高级技术高级副总裁WaltKristick解释说:“NLP可以将单词分解成最基本的形式,并识别它们之间的模式、规则和联系。人类书面和口头语言通过计算机算法进行分析和分析。翻译后系统能够学习和理解人类语言,提高NLP从文本和非相关数据源中分析和提取意义的能力,尤其是在医疗保健和生命科学领域,成为用户关注的焦点。”下面我们就NLP的现状及其应用范围进行介绍1.NLP服务的优势除了PythonNLTK、SanfordCoreNLP、ApacheOpenNLP等框架外,很多算法也可以用来构建NLP任务,但是模型效率越高,规模越大,微软图灵自然语言生成模型170亿参数,是迄今为止发布的最大模型,即使BERT、GPT-2也有数十亿参数,即使企业有NLP专家,也是一个挑战根据自己的情况定制相关模型。微软对话式人工智能副总裁程莉莉警告说:“仅使用这些模型无法处理企业中的复杂事物。对于很多企业来说,托管这些大模型,对其进行有效管理,让它们正常工作是非常重要的。”具有挑战性。虽然有人愿意这样做,但我们相信更多的客户希望有针对性地定制和添加信息”当领导者开始快速、有针对性地招聘到某项任务所需的全部人员时,则意味着变革已经开始,这三种方式都可以帮助领导者建立更好的新常态。即使是拥有AI人才的企业也会经常从Microsoft、Amazon、Google和IBM等供应商那里购买NLP服务,以使专业开发人员和企业用户能够利用该技术。作为Microsoft的客户,Telefonica有一个内部AI组。尽管如此,为了让没有开发人员专业知识的商业用户使用Q&AMaker等服务创建自己的工具,Telefonica正在使用Microsoft的Power平台。“为了让用户以搜索或对话的方式提出问题并获得答案,您可以将他们指向PDF文件或基于网络的常见问题解答,”Cheng说。NLP的一个关键应用是聊天机器人。聊天机器人可以帮助接受订单、提供常见问题解答、指示方向、预定会议以及在必要时与人进行对话。Confirmit产品管理高级总监PaulQuinn表示,NLP是一种强大的工具,可帮助企业从大量文本和语音数据中获取客户洞察。“企业通常拥有超过100TB的非结构化数据,从呼叫中心提示到客户电子邮件再到调查评论,”他说。“如果您想改善客户体验或获得有关您品牌的详细见解,那么他们可以使用NLP筛选大量数据并从中找到有用的数据。”IBM研究员兼AI首席架构师DakshiAgrawal表示,不仅是零售业,其他面向客户的行业也可以从NLP中受益。任何与客户打交道的企业都可以使用NLP从他们的互动中获得洞察力。“许多公司都在在他们的内部员工和HR交互以及与外部客户和合作伙伴的交互中使用这项技术,”Agrawal说,以帮助在客户报告使用不同术语时更准确地分组问题。除了关键字提取,句子嵌入等NLP技术还可以也可用于主题聚合。这有助于发现趋势或反复出现的问题。独立的英国运输行业监管机构TransportFocus已经在使用Signoi来了解通勤者和旅行者对各种火车服务的最大担忧。例如,商务旅行者对火车过度拥挤感到不满,而乘火车旅行的人希望更方便的停车位和更多的行李空间e和自行车。Microsoft的PowerBI业务分析服务和Salesforce.com的Tableau都提供了NLP生成自己的语言来解释结果的能力。在用户可以输入有关其数据的问题后,这些服务可以提供相应的图表或自动分析。2.知道企业知道什么NLP可以帮助企业了解它已经知道的东西。专门构建的人工智能工具,例如ABBY的合同文本分析、Exigent的合同管理解决方案以及Seal的合同发现和分析,从合同中提取条款和截止日期,帮助公司了解他们的承诺。XML的共同发明人JeanPaoli创立了一家名为Docugami的初创公司。该公司的成立是为了使结构化程度较低的文档成为可能。“只有15%的企业数据存储在数据库中,”Paoli说。“我们在通信中都使用文本、电子邮件和文档。结构化的数据库不会告诉我们真相,但文档会。对于像商业地产这样的文档密集型业务,一线业务用户必须平均每周写15份租赁协议。每个星期一,经理都会发出一系列问题:“你做了什么工作?截止日期是什么时候?你有没有谈及停车位?他们要我们保留所有权吗?”’文件一旦签署,公司就必须遵守,不幸的是,这些信息往往会淹没在文书工作的海洋中。”无论是星巴克要求房东重新协商租赁协议,还是餐厅需要知道他们的保险单涵盖哪些内容,如今很多事情都变得至关重要。而这些“隐藏数据”可以取代周一上午的会议并提高业务敏捷性。“使用NLP来“现在公司正在重新考虑他们的商业模式,分析商业文件变得更加重要,”保利说,“公司可能不得不重新谈判一切,他们需要了解他们的义务和风险。专业服务公司埃森哲就是这样做的,使用NLP超过一百万份合同,了解他们的承诺和责任。对于那些没有自己的NLP专家的公司,Docugami的SaaS产品是一个不错的选择。它有30个示例文档可用,并且可以自动从存储业务文档的文件夹中选择。可以提供给创建文档的业务用户。Docugami然后将信息存储在数据中base以帮助创建可通过浏览器查看或与Excel和Tableau集成的仪表板。3.使会议的信息更加明确。尽管一些公司电话会根据需要进行录音,但很少对其进行分析。问题的症结在于,从会议和谈话中提取有用的信息是一项繁重的体力劳动。有多少公司会通过会议发言了解项目进度或截止日期?尽管员工将30%或更多的时间花在会议上,但会议中的大量信息无法像其他业务数据一样被捕获。捕获。PowerPoint幻灯片和Teams会议中的实时字幕以及AzureStreams广播平台中可搜索的实时会议转录也可以提供高效的转录,而无需手动录制。除了图像识别之外,这些平台未来还会使用转录和文档分析来总结会议的主要内容,以便团队在会议结束后的后续工作中可以参考这些内容。在过去的15年里,桥水基金对所有内部会议进行了录音,所有员工都可以使用。尽管如此,很少有人看过它们,部分原因是这些记录很难检索。为了解决这个问题,Bridgewater开始使用Otter从这些会议中提取内容。具有语音到文本功能的Azure认知服务API很快将能够转录上传到OneDrive的音频文件。虽然开发人员已经在构建使用这些API的转录应用程序,但毫无疑问,如果直接将此功能构建到平台中,该功能可以得到更广泛的使用。4.分析和准确性虽然用户可以通过时间线搜索内容,但NLP的最佳用途并不是逐字逐句地完整转录。Otter会把提取出来的标签作为摘要,方便用户理解文本内容。自动编写的文档摘要正在成为IBMWatson的自然语言理解等工具。虽然Otter也在开发中,但用户仍然需要记住相关内容才能访问它。NLP以后会增加会议分析功能。比如同一个话题会不会继续讨论,截止日期会不会不断推后等等。这一切的命脉是转录的准确性,而衡量这种准确性是很复杂的。虽然NLP系统在很多方面的准确率可以与人类相媲美,但它们仍然存在不足,比如无法准确比较你还没有做的工作,没有统一的衡量标准。微软研究人员表示:“虽然今天的多模态系统中集成了各种功能,但将它们集成在一起并不一定可行。例如,用户可能会觉得对话系统非常好,但将语音、语言和视觉以及文档集成在一起,对话系统效果不是很好。”录音质量、背景噪音、口音、谈话内容都会影响转录的准确性,如果背景安静且说话者的母语是英语,那么准确率将在95%以上。虽然转录在实际使用中会产生一些效果,但离完美还差得很远。在使用NLP之前,用户需要知道他们可以接受多少错误率。此外,为了准确识别,用户还应精心准备行业术语、产品名称、员工姓名,以及相应的概念和相关词汇。不管是哪种NLP工具也不例外。微软研究人员表示:“我们的期望值不应该太高。虽然人工智能不能解决所有问题,但自然语言工具可以改善很多问题。如何有效地组织信息从文档中挖掘出更多的信息,如何得到专业人士的指导才是最大的当今企业面临的问题。”