仿生体感-视觉联想学习框架。可拉伸应变传感器。techxplore.com网站7月14日报道，新加坡南洋理工大学和悉尼科技大学的研究人员近日在期刊上发表论文《自然·电子学》一种机器学习架构，可以通过分析可拉伸应变传感器捕获的图像来识别人类手势..项目研究员陈晓东在接受TechXplore采访时表示：“人脑是如何处理信息的？我们对此非常感兴趣。在人脑中，思考、计划、灵感等高级感知活动不仅依赖于特定的感官信息，也与不同传感器的多感官信息的综合融合有关。这为我们结合视觉信息和体感信息，实现高精度手势识别提供了灵感。”人类在解决实际任务时，通常会整合从周围环境信息中收集到的视觉信息和体感信息，这两种信息是相辅相成的，结合起来可以更好地解决问题。因此，在开发人体手势识别技术时，Chen等人需要确保该技术能够整合多个传感器收集的不同类型的感知信息。陈解释说：“为了实现目标，我们改进了传感器。与目前使用的可穿戴传感器相比，全新设计的可伸缩、适应性强的传感器可以更准确地采集身体感官数据。我们还开发了一种Thebionicsomatosensory-visual(BSV)learningframeworkcanreasonablefusevisualinformationandsomatosensoryinformation.”Chen等人开发的BSV学习框架以各种方式复制了人脑的体感视觉信息融合通路，表现出三个特点：一是其多层次、层次化的结构，用人工神经网络模仿大脑；二是系统中的局部分割网络处理模态与大脑中的神经网络处理模态大致相同；最后，BSV该体系结构采用新开发的稀疏神经网络融合。在初步评估实验中，Chen等人设计的BSV学习体系结构优于单模态识别方法（仅处理视觉或体感数据的方法）。值得注意的是，它可以更准确地识别人类手势比以前开发的三种多模态识别技术（加权平均融合SV-V、加权强调融合SV-T和加权乘法融合SV-M）。陈说：“与单模态识别和常见的多模态识别相比，我们开发的仿生学习架构具有更高的识别准确率。但是，在图像有噪声、曝光不足或曝光过度等非理想条件下，其识别性能非常差。高的。”准确率也相对较高。”BSV学习架构可用于制造医疗机器人，或开发更先进的虚拟现实、增强现实和娱乐技术。陈说：“BSV独特的仿生特性使其优于大多数现有技术，这一点已被实验结果证实。下一步，我们将尝试构建基于仿生融合的虚拟现实和增强现实系统。”
