我们知道，人工智能的目标之一就是让计算机模拟人的感知、听觉、触觉，尝试看、听、读、理解图像以及文字、语音等。在此基础上，让人工智能具备思考和行动的能力，最终成为和人类一样的存在。现在人工智能机器人的感知能力已经取得了重大进展。围绕机器视觉，机器人可以实现图像识别、目标检测、文字识别等一系列功能；围绕自然语言处理，机器人可以进行基本的语音理解、机器翻译、语音对话等；围绕机器触摸，机器人可以实现灵活的物体感知、抓取和推动等多种动作。无法以单一感知或感知能力进行交流，成为当前人工智能机器人无法实现类人突破的一大原因。也就是说，就单一感知能力和单一工作而言，机器人的准确性、稳定性和耐久性可能远超人类，但一旦完成多流程的复杂任务，机器人的性能就远不如人类。人类的。.人工智能机器人要想获得质的发展，就必须在感知能力方面实现多模态感知融合。除了众所周知的机器视觉，人工智能机器人正在机器触觉和听觉方面取得突破，通过视觉、触觉和听觉的融合，大大提高机器人的感知能力。对于人工智能机器人，普通人要么抱有高度不切实际的幻想，担心机器人革命即将到来，要么对机器人的一般能力持怀疑态度，认为机器人只能在少数场景下替代人类。只有深入人工智能机器人的“案发现场”，不吹牛皮地看机器人感知能力的发展，才能知道当前机器人感知完成计划的真正进展情况。机器视觉和机器触觉作为地球上最聪明的生物，人类83%的感官信息来自视觉，11%来自听觉，3.5%来自嗅觉，1.5%来自触觉，1%来自味觉。在五种感官中，如果你不幸只有一种，你可能会保留大部分视力。要知道我们大脑的近1000亿个神经元中的大部分都在处理视觉信息。在所有的知觉信息中，只有动态的视觉信息最为复杂，以至于人类不得不闭上眼睛主动隔离，称之为“休息”。由于视觉信息的重要性和复杂性，在人工智能技术的发展中，除了自然语言处理，我们主要发展机器视觉。这一次人工智能的浪潮也因为图像识别的突破而重新兴起。如今，机器视觉已经在工业、安防、日用消费电子、交通运输等各个领域百花齐放。越来越多的相机背后都有AI图像识别能力。对于大多数人工智能机器人来说，除了视觉之外，还有移动、行走和抓握等能力，这就需要触觉的帮助。对于往往只有单一功能的自动化机器人来说，它们通常只需要设置固定的参数、运动轨迹和抓取力度，就可以不眠不休地完成工作任务。但对于人工智能机器人来说，需要灵活适应不同材质、形状、硬度的物体。这时候既需要机器视觉的识别能力，也需要对物体的触觉判断。以前，大多数机器人抓取解决方案完全依赖于机器人的视觉感知。主要解决方案是通过数据库进行图像匹配，实时监控目标物体的状态和自身的动作，最终调整合适的抓取算法完成对物体的抓取，但抓取的接触强度是机器视觉。它无法被替代，所以机器也需要触觉感知数据。就像人类一样，在试图抓住一个物体时，我们会结合使用多种感官能力，其中最基本的是视觉和触觉。因为视觉会因为光线、阴影、视线遮挡等因素造成误判，所以我们通常更有效地利用皮肤的触觉来获得对物体的完整感知。人体的触觉感知也是一个非常复杂的生物电信号反应过程，因此需要非常复杂的处理才能赋予机器触觉能力。为了模拟人体的触觉反应，机器人的触觉传感器还必须能够数字化模拟物体的质地、光滑度和形状，并将压力和振动信号转换成计算机可以处理的数据信号，从而训练触觉算法。机器触觉的难点在于识别触觉传感器获得的抓握等微小振动。需要能够识别被抓物体的滑动振动和物体与其他物体摩擦产生的振动，能够区分不同物体的振动。这些都是研究人员着力攻克的困难。实现突破的方法是我们需要更好的触觉传感器，它必须比现有的压力传感器更好，并且可以嵌入柔性材料中，实现像人类皮肤一样的人造皮肤。近日，新加坡国立大学的两名研究人员开发出一种人造皮肤，该人造皮肤运行在能够模拟生物神经网络的人造大脑上，运行在英特尔Loihi的神经形态处理器上。在此技术基础上，研究团队通过了机械臂阅读盲文的测试。同时，在视觉传感器和这种人造皮肤的帮助下，机械臂的抓取能力也得到了显着提升。未来基于这种触觉能力的机器人在分拣物品的过程中可以更加灵活、细致和安全。在护理行业，它们可以为人类提供更好的照顾和帮助。在手术机器人上，更好的完成手术的自动化。视觉与触觉的结合已经为机器人感知能力的提升提供了可能，那么听觉能力的融合又会带来怎样的效果呢？机器听觉的补充这里的机器听觉并不是特指对人类语音的识别。这种语音识别已经广泛应用于各种消费级智能音箱等领域。这里的机器听觉是指通过声音传感器对所有物体的声音进行判断。（重卡变速箱听觉诊断）相比机器视觉对物体的简单直接判断，机器听觉确实是人们一直忽略的领域。在我们日常生活场景中，除了用视觉来判断物体的远近、颜色、大小外，通常还会用听觉来识别物体的距离和质地，推测事件的发生。这对于有视力障碍的人尤其重要。近日，卡内基梅隆大学（CMU）的研究人员发现，人工智能机器人的感知能力可以通过加入听觉感知得到显着提升。CMU机器人研究所首次对声音与机器人运动之间的相互作用进行了大规模研究。研究人员发现，不同物体发出的声音可以帮助机器人区分物体，比如金属螺丝刀和金属扳手。机器听觉还可以帮助机器人确定哪些类型的动作会产生声音，并帮助它们使用声音来预测新物体的物理特性。经测试，该机器人通过听觉对物体进行分类的准确率可达76%。为了实现这个测试，研究人员记录了60个常见物体在机器人托盘上滑动、滚动和碰撞的15000次交互的视频和音频，形成了一个庞大的数据集。此外，研究人员可以通过摇动容器或搅拌材料的声音来估计米饭和面食等颗粒物的数量和流量。显然，很多视觉无法预测的物理性质，可以通过声音的对比来预测。机器听觉无法分辨红色方块和绿色方块，但它可以在不看到物体的情况下通过碰撞的声音分辨出两个不同物体之间的区别。这就是机器听觉可以发挥作用的地方。最后，即使是研究人员也对声音识别对物体的影响感到惊讶。在机器听觉的应用方面，研究人员首先想到的是在未来机器人的装备上增加一根手杖，通过用手杖敲击物体来识别物体。这是一张有趣的照片。但可以想象，机器听觉在未来的智能安防、管道检测、人体检测等方面可以发挥更大的作用。此外，这些应用在识别最有意义的人声方面更为广泛，例如音乐、情感和其他声音内容。多模态感知融合在机器人中的应用前景正如感觉器官对人类的重要性一样，感知系统对机器人的重要性也至关重要。要知道我们人类很少只用一种感官来获取信息，也很少只用一种感官来指导行动。就像在“攀爬-跑步-游泳”三项合一的比赛中，我们可能无法在单项比赛中击败猴子、豹子和海豚，但在整个比赛中，人类可以同时完成这三项比赛。同时。我们人类在感知事物时，通常会有多种感官同时工作，相互协调，多次验证，加深我们对外界物体的感知。对于更复杂的事物，我们甚至需要运用记忆、推理等理性认知能力对感知到的事物进行处理，从而获得更复杂的认知。相对于人类的多感官应用、机器人的单一感知或简单的组合感知能力，并且由于目前机器人的感知识别模式仍然是基于算法模型对感知数据进行分析和数据比较，因此难度较大能够产生更复杂的推理知识，因此机器人在认知复杂度上略逊于人类，但在识别物体的准确度和规模上会远远超过人类。现在，多模态感知融合的进步，将使机器人在认知复杂度上逐渐接近人类的能力。未来的机器人将更加适应光照和遮挡、噪声和混响、运动等复杂的交互场景，从而在各种实际应用中带来明显的好处。多模态感知融合可能应用的领域包括：专业的精准运算领域。例如，在高难度手术领域，手术机器人可以通过对目标的精确观察和相关组织的分离固定，进行比外科医生更精准的手术操作。高风险或困难的机器人操作。例如，危险品的搬运和拆解，管道等普通人无法进入的困难区域的检查和维护，地下墓穴或海底物品的搬运和打捞，以及通过机器听觉对密封空间进行声音探测等。安防、灾难救援、应急响应等需要灵活处理的场景，可逐步由具备多感知系统的机器人处理，或人机协同远程处理。此外，由于机器人感官融合能力的提升，机器人对综合感官数据的训练可以更好地理解人类的复杂性，尤其是建立更复杂的情感计算模型，可以更好地理解人类的情感。语音、体表温度、身体动作等传递的情感信号，为更高级的人机交互提供了新的可能。目前，人工智能机器人仍是一项复杂的系统工程。为实现机器人的多模态感知融合，需要对传感器性能、算法协调、多模态任务、环境测试等方面进行综合研究。这个过程一定很艰难，但取得成果后，前途一定是光明的。当我们期待人类与机器人和谐共处的未来时，我们自然希望这些机器人不再是冰冷的机器。
