文章|喜欢英特尔中国研究院机器人系列科幻大片的粉丝一定对《超能陆战队》中可爱的机器人大白印象深刻。
如果你感到空虚、孤独，就去大白吧。
如果你感觉不舒服，就去大白。
如果组队打怪，就去大白吧！与我们生活中那些呆板的机器人不同，大白拥有类似人类的理解世界的能力，可以说是我们理想的生活助手！虽然大白只是电影中的虚构人物，但我们正在努力打造这样一个机器人。
语义SLAM是实现这一目标的关键技术，旨在让机器人从几何和内容两个层面感知世界。
什么是语义SLAMSLAM（同步定位与建图，实时定位与地图构建）在机器人、无人机、AR/VR等领域都有应用。
对于机器人，特别是室内机器人来说，SLAM技术可以为它们提供环境的结构信息和自身的位置信息，从而实现导航等应用。
换句话说，SLAM技术帮助机器人从几何层面感知环境。
但对于大白这样的智能机器人来说，仅仅感知环境的几何信息是不够的，还要感知其中的内容信息。
如果想让大白走到某个位置，SLAM技术就可以实现。
但如果你想让大白识别书柜，主动找到书柜，帮你拿到你需要的书，就需要用到“语义SLAM”。
语义SLAM是“语义”和“SLAM”的有效融合。
这里的语义一般是指机器对周围环境内容的理解，比如理解环境中的物体、人以及他们之间的关系。
传统SLAM通过点云等形式来表示周围环境，但我们需要的并不是一组无意义的点。
机器人需要进一步抽象这些点的特征并对其进行理解，从而能够从几何和内容层面感知世界并为人类提供服务。
左：基于点云表示的传统 3D 地图。
右：包含语义信息的环境重建。
图片来源：CVPR：Semantic Structure from Motion Semantics VS SLAM 语义分析和SLAM都是计算机视觉领域的传统研究课题，但语义SLAM仍然是一个比较新的概念。
你可能会想：语义SLAM的中心词是语义？还是SLAM？语义和SLAM看似是两个独立的模块，但其实不然。
在许多应用中，两者相辅相成。
一方面，语义信息可以帮助SLAM提高建图定位的精度，尤其是对于复杂的动态场景。
传统的SLAM建图定位大多基于像素级的几何匹配。
借助语义信息，我们可以将数据关联从传统的像素级升级到物体级，提高复杂场景下的准确性。
另一方面，借助SLAM技术计算物体之间的位置约束，可以对同一物体在不同角度、不同时间的识别结果施加一致性约束，从而提高语义理解的准确性。
语义与SLAM的融合不仅极大地有助于提高两者的准确性，而且还促进了SLAM在机器人等领域的诸多应用，例如机器人路径规划和导航、按照人类指令搬运物体、做家务、陪伴等。
人类。
体育等语义SLAM的现状和未来。
学术界对于语义SLAM已经做了很多初步的探索。
2016年，Sid Yingze Bao等人。
尝试同时估计相机姿势和图像语义。
这种联合估计方法显着提高了物体识别的准确性和鲁棒性，展示了姿态信息对语义的帮助。
2016年，伦敦帝国理工学院的Renato F. Salas-Moreno等人提前对场景中的物体进行3D建模，通过点云与物体的匹配来估计物体姿态。
该方法可以识别预先建模的对象，同时生成密集且准确的对象级语义图，体现了语义级对象模型对SLAM的帮助。
2017年，斯坦福大学的Vibhav Vineet等人首次实现了近实时系统，可以同时进行建图和语义分割，展示了将语义SLAM推向实际应用的可能性。
与学术界不同，语义SLAM并未得到业界的广泛关注。
主要限制是准确的语义分析需要大量的计算资源（例如，当前最先进的图像语义分割方法大多基于深度学习）。
尽管如此，随着计算机硬件的快速进步和软件算法的快速更新，更多的语义分析技术开始应用于不同的行业，比如人脸识别、人体检测等。
我们在语义SLAM方面的工作就是其中之一。
我们的机器人交互实验室的研究重点。
下图是以Intel办公区为背景生成的语义图。
左图是基于SLAM技术构建的3D点云地图，右图是融合了语义信息的语义地图。
显然，在获得语义图后，机器人可以轻松获取房屋内沙发、椅子、门和墙壁的位置和形状信息。
例如：我们希望机器人从卧室到厨房去拿一个苹果。
如何实现这一目标？依靠传统的SLAM，机器人会计算自己的位置（自动计算）和苹果的位置（手动实现），然后进行路径规划和导航。
如果苹果放在冰箱里，需要手动设置冰箱和苹果的关系。
但现在借助我们的语义 SLAM 技术，人类可以更自然地向机器人发送指令，“请去厨房给我拿一个苹果。
”剩下的工作由机器人自动完成。
在作业过程中，如果机器人前方有污染地面，传统的路径规划算法需要手动标记污染区域，机器人才会避开。
但加入语义信息后，路径规划和导航会更加智能。
左：3D 点云图。
右图：3D语义图（蓝色&#;沙发；绿色&#;书架；粉色&#;窗帘；黄色&#;墙壁；红色-桌子...）我们相信语义SLAM是实现人与人自然和谐的基础机器与机器交互的技术将在机器人的室内测绘、定位和导航等各种应用中发挥关键作用。
基于语义SLAM的研究和应用还有巨大的发展空间。