当前位置: 首页 > 科技观察

MIT团队最新研究,仅靠LiDAR和2D地图实现端到端自动驾驶

时间:2023-03-15 14:01:15 科技观察

MIT团队的最新研究,仅依靠LiDAR和2D地图实现端到端的自动驾驶视觉感知,后者更强调LiDAR的精准测距。据了解,2021年将有23款车型搭载激光雷达,但大部分将作为高分辨率图像信息的补充。近日,麻省理工学院计算机科学与人工智能实验室(CSAIL)团队成功展示了基于机器学习的自动驾驶系统。端到端框架仅使用激光雷达获取的原始3D点云数据,低分辨率的自主导航可以利用高速GPS地图进行,鲁棒性大大提高。这项研究对依赖LiDAR的自动驾驶技术具有重要意义。插图:基于LiDAR的端到端导航。(来源:MITCSAIL)自动驾驶需要对车辆进行实时控制,这需要端到端的学习,可以直接从原始传感器数据生成实时决策以进行自动控制。此外,现实世界中可部署的自动驾驶系统不仅需要准确高效,还需要鲁棒性,端到端模型对干扰具有很高的敏感性。CSAIL之前的工作表明,点对点导航可以仅使用稀疏的地形图和从摄像机的视觉数据生成的粗略定位来执行。目前,计算机视觉无法很好地应对光照等环境变化的影响。相反,LiDAR传感器可以提供更准确的距离(深度)信息。然而,LiDAR的一个缺点是3D数据带来的数据量和计算量巨大。例如,典型的64通道传感器每秒可生成超过200万个数据点;推断3D模型需要的计算量是推断2D图像的14倍。但是,将数据折叠成二维格式会导致大量信息丢失。因此,麻省理工学院团队设计了一种基于稀疏卷积核和硬件感知模型的名为Fast-LiDARNet的神经网络。通过主动对点云进行下采样,神经网络可以在完整的LiDAR点云上有效地学习以做出实时控制决策。在现实世界中,由于传感器问题,即时决策可能会偏离分布。针对这一问题,MIT团队提出了“混合证据融合”(HybridEvidentialFusion)方法,通过对证据的深度学习,简单直接地预测决策的不确定性,然后以加权的方式智能融合控制决策实现可靠的转向操作。插图:高效且强大的基于LiDAR的端到端导航框架。(来源:论文)研究人员在全尺寸车辆上评估了他们基于激光雷达的端到端自动驾驶系统,展示了出色的车道稳定和导航能力。该系统显着提高了稳健性,并减少了由于失去控制而导致的人工接管次数。多项技术保证了自动化系统的优势。效率的提升保证了自动驾驶的精准控制。该论文的合著者、麻省理工学院博士生刘志坚说:“我们从算法和系统的角度优化了我们的解决方案。一方面是由于端到端的模型,另一方面另一方面是由于稀疏卷积核,这个核来源于团队之前提出的3D点云计算模块SparsePointCloud-GridConvolution(SPVConv),利用3D稀疏卷积(3DSparseConvolution)处理相邻点信息,即使在大型户外场景中,也能保留精细的细节,同时大大减少计算量,缩短计算时间。麻省理工学院团队的目标一直是“实现对新环境中驾驶具有鲁棒性的自主导航。”来自MapLite2018年开发的无人驾驶汽车可以在没有3D地图的情况下在以前从未见过的道路上行驶,到2019年,它仅使用简单的地图和相机视觉数据使汽车能够在新的和复杂的环境中导航环境。从端到端的自动驾驶机器学习系统,到现在基于激光雷达数据的端到端自动驾驶系统,团队的目标已经初步实现。插图:基于机器学习的端到端自动驾驶系统架构图。(来源:Paper)增强的稳健性确保新系统在现实世界中可行。研究人员表明,通过一种新的混合证据融合策略,他们的系统降低了驾驶员在测试期间必须接管汽车控制权的频率,即使面对严重的传感器故障也是如此。麻省理工学院教授DanielaRus说:“通过基于模型不确定性的融合控制预测,系统可以对意外事件做出反应。”想象一下,当你开车穿过隧道时,在你驶出隧道的那一刻,你突然暴露在阳光下。,可能会因眩光而短暂失明。自动驾驶汽车中的摄像头和恶劣天气下的激光雷达传感器可能会遇到类似的问题,而新系统可以解决这个问题。通过在决策时对这种预测进行加权,即使在传感器数据不准确的情况下(例如,走出隧道),系统也可以忽略这些不应该被信任的预测。图解:仅使用LiDAR的模型真实评价,红点为人为干预控制情况。(来源:论文)未来的高级自动驾驶未来的自动驾驶汽车将包括收集颜色数据的摄像头、用于高分辨率近场感知的LiDAR以及用于在恶劣天气下进行远程感知的RADAR。在这套传感器中,激光雷达将是最有价值和最重要的。要实现(L3及以上)高水平的自动驾驶技术,最关键的部件就是“激光雷达”——这几乎成为了自动驾驶工程界默认的“公理”。3D构建能力和准确的深度感知决定了激光雷达在工业测量和自动驾驶领域不可动摇的重要地位。作为一种平行光,激光束在发射后即使被障碍物阻挡也将保持准直状态。这也意味着无论你近在眼前还是在100米外,它都能对你进行对焦。无数的激光点根据物体的远近在平面上投射出深浅不一的线状阴影,形成一个3D点云图像,很像用铅笔画出的素描。由于激光雷达还存在一些未解决的问题,目前的车载激光雷达传感器还没有得到很好的应用。然而,麻省理工学院团队的这项最新研究可以让我们在未来的实际应用中看到希望。无论是速度、准确性还是鲁棒性,多种技术的融合都展现出了出色的自动驾驶能力,相信也能为从业者提供一些应用启发。接下来,该团队计划继续扩展其系统以增加现实世界的复杂性,包括恶劣的天气条件和与其他车辆的动态交互。论文链接:https://arxiv.org/abs/2105.09932