当前位置: 首页 > 科技观察

UNIT划重点——快速掌握对话系统的技术原理

时间:2023-03-12 06:32:14 科技观察

人工智能时代的交互特征可以用一个词来概括“对话”,使用人类最自然的交互方式,无论是语音还是文字,向机器发送指令,并与机器通信。机交互。当然,人机对话系统早在传统计算机时代就已经出现,但是到了人工智能时代,尤其是由于各种机器学习技术,尤其是深度学习技术的出现,使得我们系统的实用性达到了一个新的高度。质的飞跃。对话系统的种类很多,又可以有多种划分方式。按用途可分为任务型、问答型、聊天型对话系统;也可按场景分为封闭域和开放域对话系统;根据使用方法也可分为检索式和生成式对话系统。UINT平台可以帮助您轻松构建基于任务的多轮对话系统。我们专注于基于任务的多轮对话系统。在基于任务的人机对话系统中,在对话过程中,机器人需要执行的操作分为四个过程:口头理解、对话管理、命令执行和语言生成。对话系统的基本运行流程如下图所示:首先,对话系统需要理解用户的自然语言请求,然后根据用户给出的查询输入进行口语理解和对话管理,然后决定是进行语言生成还是命令执行,***给系统一个答复。其中,核心模块是口语理解和对话管理。口语理解口语理解的作用是理解用户请求信息查询或执行指令时所包含的语义信息。任务的难点在于自然语言的多义性、表达方式的多样性和叙事风格的口语化。那么如何突破口语理解任务的难度呢?UNIT平台提供两种经典模式解决方案:基于语义分析的口语理解模式和基于语义匹配的口语理解模式。基于语义解析的口语理解模型是将用户请求解析为所含语义信息的结构化表达。其中,最典型的结构化表达是意向模式(描述用户的核心诉求)+词槽(描述意图的关键信息)。常用的方法有基于知识规则的方法、基于机器学习的方法和基于融合策略的方法。基于语义匹配的口语理解模式不需要解析出具体的语义格式化信息,而是需要找到语义匹配度最高的问答对。对话管理对话管理的作用是根据对话状态来执行对话策略,从而实现多轮对话逻辑。任务的难点在于不确定环境下状态计算和策略选择的不确定性。相应地,对话管理有两个核心任务:对话状态跟踪和对话策略选择。下图展示了对话管理在整个对话过程中的位置,以及状态位置与对话管理的相互配合。对话状态跟踪,即根据对话历史计算当前对话状态,管理和更新对话历史。常用的方法有:基于人工规则的方法、基于机器学习的方法。通过建图,输入对话历史,输出当前对话状态。对话策略选择,即根据当前对话状态,选择下一个最合适的操作。常用的方法有:基于人工规则的方法、基于机器学习的方法、基于强化学习的方法。同样通过建模和映射的过程,输入当前对话状态,输出系统回复和命令执行。如何搭建对话系统简单介绍一下系统搭建的流程,开发者在每个流程中需要做什么,以及UINT平台为您提供了什么。构建过程如下:1)首先定义对话系统。也就是说,这个对话系统包含了哪些意图,这个意图的关键信息是什么。2)丰富数据资源。就是收集、标注、扩充数据资源,包括需要哪些词典,标注哪些规则,需要写多少模板,需要标注多少样本。3)配置对话逻辑。这个过程用UINT可以很方便的搭建,只要按照UINT提供的方法在UINT平台配置好对话系统,将丰富的数据资源输入到UINT,点击几下就可以搭建和训练系统纽扣。4)训练模型,优化效果。对话效果可以在UNIT平台上进行调整。之后可以不断重复一个小循环。上线后,大量用户进来使用对话机器人,贡献了更多的数据样本。拿到这些样本后,他们分析了这些样本产生的错误等情况,再次丰富了我们的资源,完善了系统。使效果不断好转。在这个建设过程中,UNIT平台提供了很多能力,降低了开发者的开发成本。预设技能:分析用户需求,定义对话系统阶段,UNIT平台直接推出多种场景的预设技能,还有资源丰富的技能,开发者一键获取,无需丰富的数据和模型训练工作。系统词槽:UNIT平台预置的词槽包括人名、地名、时间、地点等22类词槽字典值。开发者无需丰富人名表、地名表、时间等,直接选取复用即可。模板配置:UNIT提供了一套科学的对话理解模板编译机制,通过该机制对话模板可以快速实现对话的泛化效果。推荐样本:UNIT平台提供大量推荐样本,减少开发者样本丰富的工作量。根据开发者提供的示例,可以推荐一些相似的、可复用的示例。日志分析:UINT提供数据回流、数据存储、数据业务处理等机制,以及日志分析工具,帮助开发者优化对话效果。系统评价评价方法分为两类:1.对单个系统的准确度给出量化的指标数据,用于对单个系统的准确度评价。评估口语理解以评估对话系统。有三个指标:准确率(Precision)、召回率(Recall)、F值(F-measure)准确率=预测结果正确个数/预测结果总数召回率=预测结果正确个数/预测结果个数testset2中应该识别的。给出了两个系统精度比较的量化指标数据,用于给出系统迭代时的精度比较。针对系统迭代需要,比较基线系统X和对比系统Y的优势。两个系统定量比较涉及的指标:Diffsurface:样本集G中相同查询分析结果不一致的比例(较好):对于同一个query,Y的结果比X好(same):对于同一个query,Y的结果几乎和X一样B(variation):对于同一个query,Y的结果比X差.如果Y要代替X,至少G>B;考虑用户体验的波动。