当行为主体在进行某种行为时，他的大脑是否会产生相应的稳定的脑神经模式映射？如果存在稳定的地图，是否可以使用机器学习方法来发现未知的行为神经回路？为了回答这一系列行为理解的本质问题，在《自然》上最近发表的一篇工作研究了行为理解的机制。论文的两位共同通讯作者是上海交通大学的CewuLu教授和索尔克研究所的KayM.Tye教授。论文链接：https://www.nature.com/articles/s41586-022-04507-5该成果基于计算机视觉技术，定量解释了机器视觉行为理解与脑神经的内在联系，建立了其稳定的首次映射模型。形成计算机视觉行为分析发现行为神经回路这一利用人工智能解决神经科学基本问题的新研究范式。具体来说，计算机智能算法通过对老鼠社会和竞争行为视频的大规模理解，发现了“动物社会等级”的控制。(SocialHierarchy)Behavior”神经回路，旨在回答哺乳动物如何判断社会群体中其他个体和自身的地位并做出行为决定的问题。由此形成的新研究范式也进一步推动了人工智能和基础科学问题的发展前沿交叉（AIforScience）领域发展具体研究内容如下：图1.视觉行为检测-脑神经信号关联模型：（a）小鼠视觉行为理解（b）系统框架和模型学习。视觉行为检测-脑神经信号关联模型：我们以小鼠组为实验对象，每只小鼠佩戴无线电生理记录装置，记录特定脑区内侧前额叶皮层（mPFC）的脑神经序列。社交活动信号，同时通过多个摄像头跟踪定位每只老鼠，以及行为语义标签基于卢策武教授团队开发的姿态估计（如alphapose）和行为分类研究成果进行提取，使得小鼠的姿态估计精度高于人眼。基于拟议系统自动收集的大量数据，隐马尔可夫模型训练了一个从“小鼠mPFC脑区的神经活动信号”到“行为标签”的回归模型。发现训练后在测试集上仍然存在稳定的映射关系，揭示了发现行为视觉类型与行为主体大脑中的脑神经信号模式之间存在稳定的映射关系。模型应用：控制动物社会等级（SocialHierarchy）行为神经回路发现：基于视觉行为检测-大脑神经信号关联模型，我们可以发现新的行为神经回路。“动物社会等级”的行为神经控制机制（如低级小鼠会优先让高级小鼠进食，低级小鼠会表现出服从行为）一直是学术界关注的重要课题，即哺乳动物如何判断其他个体以及你的社会群体地位有多高或多低？它背后的神经控制机制是什么？由于动物的社会等级行为是一个复杂的行为概念，这个问题一直是学术界悬而未决的问题。在一个大型小鼠群体比赛视频中，我们基于上述系统和模型定位“动物社会等级”行为，同时记录动物社会等级行为的大脑活动状态，深入分析大脑中动物社会等级的行为。其形成机制，即发现内侧前额叶皮层-外侧下丘脑（mPFC-LH）回路具有控制动物社会等级行为的功能，已被严密的生物学实验所证实。该研究形成了基于机器视觉学习发现未知行为功能神经回路的全新研究范式，进一步推动了人工智能解决基础科学问题（AIforScience）的发展。卢策吾团队行为理解研究以上工作是卢策吾团队多年积累的行为理解的一部分。机器如何理解行为需要综合回答以下三个问题：1.从机器认知的角度：如何让机器理解行为？2.从神经认知的角度：机器认知语义与神经认知之间的内在关系是什么？3.具身认知视角：如何将行为理解知识迁移到机器人系统？图2.卢策吾团队围绕行为理解的主要工作本次发表在《自然》上的工作就是回答第二个问题。另外两个问题团队的主要工作是：1.如何让机器理解行为？主要工作包括：人类活动知识引擎HAKE（HumanActivityKnowledgeEngine）为探索可泛化、可解释、可扩展的行为识别方法，必须克服行为模式与语义之间的模糊联系，以及数据分布的长尾现象。不同于一般的直接深度学习“黑盒”模型，团队构建了知识引导、数据驱动的行为推理引擎HAKE（开源网站：http://hake-mvig.cn/home/）：图3。HAKE系统框架HAKE将行为理解任务分为两个阶段。首先，将视觉模式映射到人体局部状态的基元空间，用有限的、近乎完整的原子基元来表达各种行为模式；然后，根据逻辑规则和合理的行为语义对原语进行编程。HAKE提供了一个庞大的行为原语知识库来支持高效的原语分解，并借助组合泛化和可微神经符号推理来完成行为理解。article):(1)规则可学习：HAKE可以基于少量的人类行为-原始知识自动挖掘和验证逻辑规则，即总结原始组合规则并对实际数据进行演绎验证。为了发现有效的、可泛化的规则，发现未知的行为规则，如图4所示。图4.学习未见过的行为规则(2)Humanperformanceupperbound:在87种复杂行为实例级行为检测测试集上（10,000张图像），具有完整原始检测的HAKE系统的性能甚至可以接近人类行为的感知性能，这验证了其巨大的潜力。(3)行为理解“图灵测试”：图5.要求机器（HAKE）和人类擦除一些像素使得无法理解图片中的行为。图灵测试表明，HAEK的“擦除技术”与人类非常相似。我们还提出了一个特殊的“图灵测试”：如果一台机器可以从图像中删除关键像素，那么它就可以很好地理解一种行为，从而使人类主体无法辨别该行为。让HAKE和人类分别做这个擦除操作。并请另一组志愿者做图灵测试，询问擦除操作是人为操作还是HAKE操作。人类辨别正确率约为59.55%（随机猜测50%），这表明HAKE的“擦除技术”与人类非常相似，证实了其在行为“可解释性”的理解上与人类相似。行为对象的泛化类脑计算模型(《自然?机器智能》)人脑对于特定的行为（如“洗漱”），可以抽象出广义的行为动态概念，适用于不同的视觉对象（如衣服、茶具等）,etc.),shoes),并以此来做行为识别。神经科学领域的研究发现，对于连续的视觉信号输入，在人的记忆形成过程中，时空动态信息和物体信息通过两条相对独立的信息通路到达海马体，形成完整的记忆，从而带来行为物体的记忆。泛化的可能性。图6.行为对象概念和行为动力学概念解耦带来的泛化。受到脑科学的启发，卢策伍团队通过模仿人类认知行为对象和动态概念在大脑各区域独立工作的机制，实现自主发现（意识），提出了适用于高维信息的半耦合结构模型（SCS）。行为视觉对象的概念和行为动力学的概念将这两个概念存储在两个相对独立的神经元中。在深度耦合模型的框架下，设计了一种信息无关的误差反向传播（decoupleback-propagation）机制，约束两类神经元只关注自己的概念，初步实现对行为理解的泛化到行为主体客体。提出的半耦合结构模型工作发表于《自然?机器智能》，并获得2020世界人工智能大会杰出青年论文奖。Videosequenceobjectneurondynamicneuron图7.“视觉对象”和“行为动态概念”神经元的视觉表示《自然?机器智能》人体姿态估计人体姿态估计是行为理解的重要基础，这个问题是结构约束下的问题为了获得准确的感知，针对结构约束下的感知问题，提出图竞争匹配、姿态流全局优化、神经-解析混合的逆运动优化等算法，系统解决密集人群干扰和姿态问题trackinginthesenseinthesenseofhumanmotionstructureInstability,3Dhumancommonsenseerrors等问题，在CVPR、ICCV等计算机视觉顶级会议发表论文20余篇；图8.结构感知的工作。相关研究成果积累形成开源系统AlphaPose（https://github.com/MVIG-SJTU/AlphaPose），在开源社区GitHub获得5954Stars（1656个fork），GitHub排名1.6出前100,000股。广泛应用于传感器、机器人、医疗、城市建设等领域。在姿态估计之后，团队进一步形成了开源的视频行为理解开源框架Alphaction（https://github.com/MVIG-SJTU/AlphAction）。2.如何将行为理解知识迁移到机器人系统？探索结合第一人称视角理解人类行为的本质，??从单纯考虑“她/他在做什么”到共同考虑“我在做什么”。这种研究范式也是“具身智能”（EmbodiedAI）的研究思路。探索将这种理解能力和习得的行为知识迁移到具身智能本体（类人机器人）中，使机器人最初具有“人的行为能力”，并最终驱动机器人完成现实世界中的一些任务，为通用服务机器人。解决上述科学问题将：（1）大大提高行为语义检测的性能和语义理解的范围；（2）有效提高智能体（尤其是类人机器人）理解现实世界的能力来自世界的反馈考验着机器对行为概念本质的理解，为通用智能机器人的实现奠定了重要基础。近年来，卢策吾团队与飞希科技合作，构建了具身智能领域的通用物体抓取框架GraspNet（https://graspnet.net/anygrasp.html），实现了刚体、可变形物体、透明物体和任何场景中的其他对象。PPH（picksperhour）指标首次超越人类水平，是此前表现最好的DexNet算法的三倍，相关论文发表一年内被引用70次。物体抓取是机器人操作的第一步，为本项目提供了良好的基础。机器人行为-对象模型交互感知，实现机器人行为执行能力和对象知识理解的联合学习和迭代提升，通过机器人交互本质上减少对象模型感知估计误差，进一步提高基于对象知识理解的机器人行为执行能力。与以往单纯的视觉对象识别相比，交互带来了新的信息来源，带来了感知性能的本质提升。如图9和视频所示，图9.对象知识模型-机器人行为决策的迭代改进图10.交互感知：机器人行为能力（上图）和模型理解能力（下图）的联合学习（执行behaviorwhileimprovingCorrectivePerception）相关工作是在ICRA2022上发表的论文《SAGCI-System: Towards Sample-Efficient, Generalizable， Compositional, and Incremental Robot Learning》（SAGCISystem:Sample-OrientedEfficient,Scalable,ComposableandIncrementalRobotLearningFramework）。网址：https://mvig.sjtu.edu。cn/research/sagci/index.html视频：https://www.bilibili.com/video/BV1H3411H7be/卢策武，上海交通大学教授，博士生导师，人工智能研究方向。2018年入选《麻省理工科技评论》中国35位35岁以下创新精英（MITTR35），2019年被评为杰出青年学者。
