编者注:聊天机器人不再是新鲜事物。Facebook、微软等很多大平台都有自己的聊天机器人,但是聊天机器人的发展似乎遇到了瓶颈。本文作者RizaC.Berkan博士讨论了如何解决聊天机器人领域面临的问题。对话式人工智能(聊天机器人)涉及三个维度的问题:(1)语言技能(2)知识获取(3)对话行为。尽管三者密切相关,但人脑可能会通过不同的实验和在不同的时间段使用不同的神经区域来获得这些优势。因此,开发整个过程的计算机模型也需要一些单独的处理和分布式方法。深度学习提供了一个似乎有效的模型。但是,它将单个模式中的所有数据集成到大量数据需求中。这也与我们通过阅读学习的方式相矛盾。与深度学习不同,我们显然不会在每次阅读新文章时都重新学习语言技能。语言和知识能否分开对待,使后者的成长不需要与前者混为一谈?如果可能,我们如何模拟这种半独立性?我将介绍一种称为深度克隆方法(DCM)的新方法。虽然这些技术细节是专有的(正在申请专利),但这种方法可能还有许多其他变体值得尝试。DeepCloneDCM是一种专门为对话式AI设计的全新机器学习方法。“深度”一词来自其多层架构。“克隆”一词是指将知识从其原始领域转移到对话系统(将文档转换为聊天记录)。DCM将(1)语言技能与(2)知识获取分开,但不涉及(3)单独处理的对话行为。DCM的灵感来自于人脑的阅读过程,其中学习是直接通过阅读(无监督)完成的,而不是涉及语言实验(有监督)。DCM逐句处理给定的内容,将每个句子分解为概念,并通过大型网络学习这些概念如何相互关联。一些示例聊天机器人是使用这种方法开发的,仅通过编辑输入内容供DCM读取。以下是深度克隆与深度学习的对比:神经元结构DCM的核心创新是人工语言神经元的概念。这个想法的灵感来自生物学,已知大脑的某些区域包含对语言输入敏感的神经元,就像其他区域对图像或其他感官敏感一样。此外,语言敏感神经元也可能具有与语言角色相适应的不同结构。另一方面,无论应用如何,深度学习都使用相同的神经元,典型的神经元如下图所示。不同网络中的神经元模型存在差异,但不涉及归因于自然语言处理的任何特定角色。这些神经元需要数字输入才能从输入层传播。因此自然语言必须转换为数值才能使此操作正常工作,并且根据方法的不同,此转换可能毫无意义。在DCM中,通过分解过程确定了六种不同的神经元类型。黑色神经元代表内容(句子),红色神经元代表事件概念,蓝色神经元代表对象(对话主题)。绿色神经元代表每个句子的类型(维度),最终帮助黑色神经元回答问题。网络结构DCM网络通过阅读每个句子并按照一组特定规则建立连接来发展。第一条规则是重复相似神经元的连接。这条规则的唯一例外是跟随内容轨迹的黑色神经元。第二条规则是事件与对象的联系(红色到蓝色)。网络的增长与系统读取的内容成正比。看完整个东西,最终网络变成多层,多个网络(称为高速公路)。基本上有四种主要道路(黑色、红色、蓝色和橙色)。最终的网络被进一步处理以将重复的神经元压缩成单个神经元。这个最终过程产生了一个基于事件的本体,其中每个事件概念都与大量工具相关联。召回过程需要遍历4条高速公路,为给定的问题(或句子)找到最匹配的概念。通过推理找到最后的黑色神经元作为问题的答案。总结以下是深度学习和深度克隆的比较:深度学习的优点是不会将其分解为需要本体处理的单独步骤。深度克隆取决于分解过程的质量。深度克隆具有数据量小、一步收敛的优点。深度学习是一个黑盒子,而深度克隆是透明的,可以即时修改。深度克隆的数据需求只是内容知识,而深度学习可能需要大量的语言检测数据和较长的训练周期。
