arXiv综述论文《自动驾驶协同感知：现状与未来趋势》，2022年8月23日，上海交通大学。感知是自动驾驶系统的关键模块之一，但单车能力有限，成为感知性能提升的瓶颈。为突破单一感知的局限，提出了协同感知，使车辆能够共享信息，感知视线外、视野外的环境。本文回顾了与协作传感技术相关的有前途的工作，包括基本概念、协作模型以及关键要素和应用。最后，讨论了该研究领域的开放挑战和问题，并给出了进一步的方向。如图所示，单感知的两个重要问题是远距离遮挡和稀疏数据。解决这些问题的方法是同一区域的车辆之间共享共同的感知信息（CPM，collectiveperceptionmessage），协同感知环境，称为协同感知或协作感知。得益于通信基础设施的建设和V2X等通信技术的发展，车辆可以可靠地交换信息，从而实现协作。最近的工作表明，车辆之间的协同感知可以提高环境感知的准确性以及交通系统的鲁棒性和安全性。此外，自动驾驶汽车通常配备高保真传感器以实现可靠感知，导致成本高昂。协同传感可以缓解个别车辆对传感设备的苛刻要求。协作感知与附近的车辆和基础设施共享信息，使自动驾驶车辆能够克服某些感知限制，例如遮挡和短视界。然而，实现实时和稳健的共同感知需要解决通信容量和噪声带来的一些挑战。最近，有一些研究协作感知策略的工作，包括什么是协作，什么时候协作，如何协作，共享信息的对齐等。与融合类似，协作的分类也有4类：1早期协作早期协作执行在输入空间中进行协作，在车辆和基础设施之间共享原始传感数据。它汇总了所有车辆和基础设施的原始测量值以获得整体视图。因此，每台车辆都可以基于整体视角进行后续处理并完成感知，可以从根本上解决单一感知中出现的遮挡和远距离问题。然而，共享原始传感数据需要大量通信，并且容易因数据负载过大而导致通信网络拥塞，这在大多数情况下阻碍了其实际应用。2.后期协同在后期输出空间进行协同，促进各个agent输出的感知结果融合，实现精细化。虽然后期协同是带宽经济的，但它对代理定位错误非常敏感，并且由于不完整的局部观察而遭受高估计错误和噪声。3.中间协作中间协作在中间特征空间进行协作。它能够传输由个体代理预测模型生成的中间特征。融合这些特征后，每个代理解码融合的特征并产生感知结果。从概念上讲，代表性信息可以压缩到这些特征中，与早期协同相比节省通信带宽，与后期协同相比提高感知。在实践中，这种协同策略的设计在两个方面在算法上具有挑战性：i）如何从原始测量中选择最有效和最紧凑的特征进行传输；ii）如何最大限度地融合其他代理的特征以增强每个代理的感知。4HybridSynergy如上所述，每种协同模型都有其优点和缺点。因此，一些作品采用混合协同，将两种或多种协同模式结合起来，优化协同策略。协同感知的主要因素包括：1.协同图Graph是协同感知建模的强大工具，因为它对非欧几里得数据结构进行建模，具有良好的可解释性。在一些工作中，参与协作感知的车辆组成了一个完整的协作图，其中每辆车是一个节点，两辆车之间的协作关系是这两个节点之间的一条边。2姿势对齐由于协作感知需要融合来自不同位置和不同时间的车辆和基础设施的数据，因此实现精确的数据对齐对于成功协作至关重要。3信息融合信息融合是多智能体系统的核心组成部分，其目标是以有效的方式融合来自其他智能体的最具信息量的部分。4基于强化学习的资源分配现实环境中有限的通信带宽要求充分利用可用的通信资源，这使得资源分配和频谱共享变得非常重要。在车载通信环境中，快速变化的信道条件和不断增加的服务需求使得分配问题的优化非常复杂并且难以使用传统的优化方法来解决。一些作品利用多代理强化学习(MARL)来解决优化问题。协同感知的应用：13D目标检测基于激光雷达点云的3D目标检测是协同感知研究中最受关注的问题。原因如下：i)LiDAR点云比图像和视频具有更多的空间维度。ii)激光雷达点云可以在一定程度上保存人脸、车牌号等个人信息。iii)点云数据是适合融合的数据类型，因为点云数据在从不同姿势对齐时丢失的像素少于像素。iv)3D目标检测是自动驾驶感知的一项基本任务，跟踪和运动预测等许多任务都基于此。2语义分割3D场景的语义分割也是自动驾驶所需的关键任务。3D场景对象的协作语义分割，给定来自多个代理的3D场景观察（图像、激光雷达点云等），为每个代理生成语义分割掩码。?具有挑战性的问题：1通信鲁棒性有效的协调依赖于代理之间可靠的通信。然而，通信在实践中并不完美：i)随着网络中车辆数量的增加，每辆车可用的通信带宽是有限的；ii)由于不可避免的通信延迟，车辆很难从其他车辆接收实时信息；iii)通讯有时可能会中断，导致通讯中断；iv)V2X通信中断，无法始终提供可靠的服务。尽管通信技术不断发展，通信服务质量不断提高，但上述问题仍将长期存在。然而，大多数现有工作都假设信息可以以实时和无损的方式共享，因此对于进一步的工作来说，考虑这些通信限制并设计稳健的共同感知系统是很重要的。2异构性和跨模态大部分统一感知工作集中在基于激光雷达点云的感知上。然而，有更多类型的数据可用于感知，例如图像和毫米波雷达点云。这是利用多模式传感器数据进行更有效协作的潜在方法。此外，有不同级别的自动驾驶汽车在某些情况下提供不同质量的信息。因此，如何在异构车联网中进行协作是协作感知进一步实际应用的问题。不幸的是，很少有作品关注异构和跨模式协作感知，这也成为一个公开的挑战。3Large-ScaleDatasets大规模数据集和深度学习方法的发展提高了感知性能。然而，协作传感研究领域的现有数据集要么规模小，要么不公开。公共大规模数据集的缺乏阻碍了协同感知的进一步发展。此外，大多数数据集都基于模拟。虽然仿真是验证算法的一种经济且安全的方法，但还需要真实的数据集才能将协作传感付诸实践。
