自动驾驶传感器配置要求随着汽车智能化、电动化的快速发展而不断提高。目前的传感器往往在检测范围、检测精度、检测能力等方面不断优化，以适应更多的边缘场景。使用更先进能力的传感器会带来哪些优势和问题，如何优化布置在车身周围的传感器的配置和选择，将是我们必须面对的问题。高阶自动驾驶系统的传感器，与目前的自动驾驶系统一样，依然配备包括毫米波雷达、摄像头、激光雷达、超声波雷达等传感器配置。但是在毫米波雷达、摄像头、激光雷达的选择上增加了几个步骤。首先，毫米波雷达采用了4D高精度毫米波雷达，从分辨率上实现了质的飞跃。其次，摄像头采用高清摄像头，分辨率的大幅提升，更容易检测更小的目标。最后，就是激光雷达从原来的机械式激光雷达向MEMS甚至Flash激光雷达的转变。本文将围绕上述三类传感器的改造，详细介绍它们如何提高自动驾驶系统的检测能力。4D毫米波雷达的优势从目前发生的自动驾驶事故（无论是特斯拉卡车碰撞，还是蔚来汽车上安装的高速作业车辆发生碰撞）不难看出，高速自动驾驶最容易发生事故在于传感器对静止目标的识别。目前驾驶辅助系统的架构往往采用摄像头融合毫米波雷达的方式进行检测，而静止目标的识别主要依靠摄像头的视觉检测，因为视觉感知目标必须通过模块或算法进行训练，并且数据模型不能涵盖所有类型的目标数据，识别过程中通常使用的图像分割会滤除静止目标作为背景区域。因此，视觉检查很难有效地识别目标。这时候，在很多情况下，都会依赖传统的毫米波雷达进行静止目标检测。由于目前的毫米波雷达不具备测高能力，意味着在探测过程中很难判断前方静止物体是在地面上还是在空中，无法细化刹车场景。制动错误或制动缺失。高端自动驾驶系统采用4D毫米波雷达。其原理是在原有距离、方位、速度的基础上加入目标的高度维度数据分析，实现“3D+速度”四个维度的信息感知。主要感知参数表述如下：除了上述探测能力外，4D毫米波雷达也被称为“成像雷达”。成像概念是指其超高分辨率，可以有效分析轮廓、类别和行为。这意味着4D毫米波雷达系统可以适应更复杂的路况，包括识别更小的物体、部分遮挡的物体，以及检测静止物体和横向移动的障碍物。具体来说，对于4D雷达，如何提高目标信息检测能力，从而提高自动驾驶系统的控制能力？1.4D雷达高分辨率点云首先，成像雷达可以提供更准确的道路边缘信息，为高速行驶和变道提供更准确的辅助定位信息；静止目标尤其是拥堵情况下的检测精度更高，可以有效避免追尾等安全事故。如何？很多工程师认为它分辨率的提升使得它的深度学习可以更好的用在点云匹配学习算法中，但我不这么认为。因为再强的深度学习，遇到像毫米波雷达这样的稀疏图像，也基本无能为力。之所以能够检测到静止目标，主要是因为它可以有效地检测高度信息。4D毫米波雷达增加俯仰角天线通道。通常，通道数的增加会使雷达芯片的计算量增加一倍。2.AI深度学习目标识别其次，自动驾驶中最难的场景之一就是对行人的识别能力，而目前的识别往往依赖于摄像头。如果我们能够基于成像雷达的高分辨率特征来检测行人，识别辅助效果会怎么样呢？答案是肯定的。这一过程主要是根据行人摆臂和车轮转动的微动特征，采用更高分辨率的时频分析方法提取目标的微多普勒信息，并利用机器学习等目标分类方法对执行VRU目标的微复用。拔轮器识别。3、基于毫米波雷达的高精度定位众所周知，高精度定位系统的检测过程需要相应的传感器建立密集的毫米波雷达点云信息，这依赖于环境结构，不受环境结构的影响。受雨、雪、雾等环境因素的影响。这些要素就是毫米波雷达本身的能力。因此，利用毫米波雷达本身就可以进行简单的定位和建图，我们这里称之为RSLAM。而如果系统本身配备激光雷达或高清摄像头，毫米波雷达的测绘能力可以作为两者的辅助传感器。4.硬件处理能力4D雷达成像的主要部件包括比3D雷达更多的收发天线，最重要的是它的双板处理芯片：一个用于射频收发（主要是安装在PCB板上的多轨收发天线）))、SRAM数据采集和USB类型数据流；另一个用于数据处理（包括基于点云的深度学习）和BT/Wi-Fi连接。因此，许多毫米波雷达供应商通常采用芯片级联或通过软件创建虚拟发射天线，以提高发射端环境物体点云信息采集率。总的来说，随着级联芯片的增多，高分辨率成像雷达的点云密度和精度越来越高，人工智能（AI）深度学习在雷达中的应用带来了更加优越的先验条件（如点云聚类），接近于视觉分类效果。高分辨率相机能否带来质的飞跃？随着整车E/E架构的演进，传感器ECU也开始从分布式向集中式演进，运算能力不再像以前那样由各个子ECU分配。取而代之的是中央处理器进行集中处理，这个过程中的计算机视觉和图像处理由中央域控制器进行软件集成，而摄像头只会作为一个纯粹的传感器进行“图像采集”。随着自动驾驶水平的提高，对摄像头的要求越来越高，这主要体现在摄像头的分辨率上，从最初的30万像素基本全景停车升级到100万像素以上半全景-自动泊车车子发展到现在200万像素，实现基本的驾驶定心控制。并且随着自动驾驶水平感知能力进一步提升的需求和市场需求的推动，未来高级别自动驾驶汽车正计划应用800万级高清像素摄像头来识别和监控更远的目标。监视器。从基础能力来看，升级到8像素摄像头最大的挑战在于感知算力的大幅提升。比如地平线目前的8MP摄像头处理demo实验，使用J3进行算法处理，无异于小马拉大车，导致需要裁剪高分辨率图像。裁剪后的图像分辨率降低后，可以进行语义分割、目标级匹配等相应处理。因此，类似的高清车载摄像头需要具备与高分辨率摄像头相匹配的算法和测试能力。那么业界普遍关心的话题就是8像素摄像头与算力、算法、数据的关系。其中包括：1、如果用高清摄像头（比如800万像素）来替代之前的低分辨率摄像头，需要多少算力来支撑芯片，发热量和功耗会是多少整个域控制器的增加？首先，摄像头对算力的需求不仅与摄像头自身的性能参数（位数、帧率、分辨率等）有关，还与自动驾驶的实际应用场景和感知算法模型有关。TOPS=Function(cameraintrinsicparameters,usecase,perceptronalgorithm)例如，作为以往的例子，基于相同分辨率的相机，如果其应用场景仅限于识别车辆、行人、车道线、限速标志等.，由于其算法匹配库中的模型简单，所以对于计算能力的匹配要求比较轻量级。如果应用场景需要系统识别的目标更多（包括一些不常见或异构的目标，如落石、不明障碍物、红绿灯、路标等），检测距离更远（包括一些小动物、小障碍物等），更高的识别精度（比如更清晰的航向定位、更准确的距离、速度），以上这类应用场景对算力的要求必然是更高阶的。2、新型高清摄像头是否需要对原有的算法结构进行大幅度更新？事实上，使用高分辨率相机后，算法不需要完全重写。原始采集数据可作为深度学习模型的初始架构参数，新采集的高分辨率图像数据可作为深度学习模型。更新和优化其架构参数的数据源。对于上述说法，需要充分考虑其低分辨率摄像头目标检测算法是否已经应用到AI神经网络训练算法中，或者只是简单的模式识别算法。因为，比如像L1或者L2这样简单的驾驶辅助功能，很多时候，摄像头的检测能力只需要满足一些简单的检测方案，比如简单的车道线或者标准车辆。这样的检测过程可能根本不需要AI算法训练和神经网络加速，但是通过搭建一个ARM内核进行逻辑运算就可以满足要求（所以可以说SOC中的CPU资源可以满足）。因此，从算法复杂度、算法策略、算法构建的模型参数等方面来看，高分辨率相机无法充分复用低分辨率相机算法。此外，在硬件资源方面，处理高分辨率摄像头数据所需的SOC往往是更高级的SOC，不仅AI运算单元得到大幅提升，逻辑运算能力也提升到一个新的水平，这就导致了原来为低级驾驶辅助系统训练的算法不能很好的适配新的SOC。因此，这往往会促使其改进相应的AI算法模型。此外，可能还会出现使用同一供应商的系列芯片等类似情况。比如目前使用地平线J3进行算法训练生产出来的产品，升级到J5之后，很可能会在当前算法的复杂度上有很大的提升。3、摄像头传感器升级后，低级自动驾驶系统架构采集的数据能否直接应用于高级别自动驾驶？自动驾驶算法的构建和迭代是由数据驱动的，尤其是感知和预测模块，很多时候需要在这个过程中实现良好的数据闭环。自动驾驶的算法模块，尤其是感知和预测模块，基本都是数据驱动的，可见数据对算法迭代的重要性。这里需要说明的是，很多智能驾驶算法公司前期都是通过数据采集来获取算法训练参数，而低级智能驾驶系统的数据采集往往使用低级传感器，无论是在分辨率上，检测距离，误检漏检都不如高级别自动驾驶。因此，对于高分辨率相机检测，除了通过之前采集的数据继承低像素相机的一些基本性能外，还可以通过场景建模实现局部场景重建。此外，对于一些极端场景，需要使用高分辨率摄像头进行数据采集和算法的再训练，从而无限提升其检测效果，实现数据闭环。4.高分辨率摄像头是只装在车头（前视摄像头）还是整个rollout（侧视和后视摄像头）？对于高级别的自动驾驶系统，前向视觉需要解决的场景最多，目标识别任务也最为复杂，比如远距离小目标识别，近距离目标切入识别，两者都有对相机的光束张角和分辨率影响很大。更高的需求。对于侧视和后视摄像头，感测场景的需求比较简单，两者的主要需求基本都在自动变道场景的侧方和后方目标检测上。因此，从成本和效率上来说，普通分辨率的摄像头可以满足侧视/后视场景的要求。至于环视摄像头，通常是在中低速时通过大视角、近距离检测车道线和停车位置的车辆目标。因此，采用中低分辨率相机也能满足目标检测要求。同样，对于智能座舱中的摄像头，通常用于包括驾驶员存在识别、人脸识别、情绪识别等，基本上，适中的摄像头分辨率就足够了。当然，对于上述摄像头能力配置，可以通过模拟实际场景，通过算法迭代，在一定程度上找到最优值。例如，使用响应面法寻找最优值。5、同样的检测要求下，摄像头的分辨率是不是越高越好？事实上，高分辨率的摄像头具有更远的探测范围和更清晰的探测结果，并且具有更宽的动态范围（HDR）和更好的LED频闪消除功能（LFM）。但是它在弱光下的感知效果会比较差。这是因为在相同条件下，相机的分辨率越高，其单个像素的尺寸越小，导致低照度下的光电转换效率越低，从而影响相机在光线不足时的性能。此外，高清摄像头在带宽和数据量方面的需求也呈指数级增长，这导致对周边相关元器件和网络的需求更高。因此，对于自动驾驶系统而言，在选择摄像头方案时需要在分辨率和检测性能之间做出权衡。如何发挥激光雷达的优势，真正满足自动驾驶的需求，也是雷达。毫米波雷达的金属反射电磁波性能远高于人体。因此，当自行车或行人等反光体距离检测车辆1.5米时，一般采用3。4接收单片机3D毫米波雷达几乎只能探测到自行车上的一个点，甚至探测不到。即使是成像毫米波雷达，对于行人、锥体等物体来说，也只是一个小光点，普通雷达根本探测不到。从这点来看，成像毫米波雷达显然无法与激光雷达成像相提并论。激光雷达在下一代自动驾驶系统中的应用，能够大幅提升其系统检测能力，已是不争的事实。这方面的优势主要体现在其高质量的检测能力可以解决一些目前自动驾驶系统无法解决的边缘场景，包括车辆切入、车后突出物检测、异常物体检测等。在路上。那么你真正关心激光雷达的是什么？事实上，无论是主机厂还是供应商，对激光雷达的要求无非就是性能（包括测距能力、精度、视野、分辨率、刷新帧率、体积、功耗等参数）、可靠性（稳定运行性）、一致性、合规水平）和成本（设计成本、材料成本、生产成本）。1、探测距离和精度：我们知道激光雷达最重要的部件就是收发模块和扫描模块。激光收发效率越高，信号处理能力越强，测距能力越强。在激光雷达的实际使用中，测距能力还与被测物体的反射率有关。反射率越高，接收到的反射光越多，测距越远，测距越准确。因此，测距能力主要由收发模块决定，包括激光器的发射功率、发射波段、探测器的探测灵敏度等。我们在评定探测距离和精度时，一定要说到在一定反射率下探测目标的距离。2.探测范围探测范围主要由视野、分辨率和刷新帧率来定义。视场角主要与激光雷达发射激光点的方向有关，而分辨率则与发射点的频率有关。发射点频率是指激光雷达每秒探测并获取的探测点总数，类似于相机总像素的概念。因此，在相同的探测场景下，激光点频率越大，激光雷达对目标的感知越好。用发射点频率来描述，可以很好地解决激光刷新率相似，视场不均匀导致的分辨率过高问题。我们知道，激光雷达扫描是通过二维扫描进行的。即包括水平扫描和垂直扫描，因此对于发射点频率，可以用输入的水平扫描点和垂直扫描点综合描述。在上述情况下，如果想提高激光点频率，可以大大提高刷新率，但相反，它的分辨率也会快速下降。因此，提高发射点频率的唯一途径就是提高激光雷达的发射性能，而发射性能是由发射内参决定的。这种广义的内参实际??上是指激光雷达本体需要考虑激光器的性能要求、总功耗、寿命以及激光芯片对信号的综合处理能力。3、功耗激光雷达内部的电子模块每秒需要发送和接收数百万次的光，而每一次发送和接收都必须经过复杂的模拟和数字电路处理，将其转换成3D点云信号。因此，电子模块需要大量的电源输出。同时，由于激光雷达的探测能力很大程度上受探测面是否干净无杂质的影响，很多情况下都要求激光雷达具备自清洁能力，而这个过程也需要极高的供电能力.4、功能安全激光雷达的可靠性主要取决于其收发模块和扫描模块。一般使用905nm的供应商。收发模块的电子元件比较容易通过车规。例如，博世的激光雷达可以达到整体ASILB安全等级，人眼激光防护的场合可以达到ASILC。相比之下，基于1550nm收发模块的设备还处于比较早期的阶段，通过有很大的挑战。车辆法规。5、成本最后，我们还得回到激光雷达最关心的核心问题，那就是成本，这也是制约激光雷达部署率的重要因素。因为激光雷达的扫描模块极大地影响了它的可靠性和稳定性。收发模块对其性能指标影响很大。因此，从维持其功能和性能的角度出发，激光雷达需要不断优化其对应收发模块的性能，从而在不增加成本的情况下提升其整体性能。总结从自动驾驶系统的先进传感器升级来看，将配备高清摄像头、高品质激光雷达、成像毫米波雷达，重点解决当前自动驾驶系统面临的各种边缘场景问题。可能会遇到。其中，通过升级为4D毫米波雷达，算法可以更多地兼顾毫米波雷达的感知结果，从而以更高的概率识别出道路上的静态障碍物，结合其高分辨率带来的优势，可以更有效地分析目标的轮廓、类别和行为，然后知道什么时候必须刹车（避免漏刹车）。视觉感知的挑战在于目标障碍物必须提前训练，模型库无法穷尽所有类型，所以很多静态障碍物成了“漏网之鱼”。此外，即使有模型库，另一个挑战在于神经网络。它能否正确识别前方的障碍物。因此，经常会出现前面有障碍物，但自动驾驶汽车仍然撞上的结果。高清摄像头可以在一定程度上解决部分这个问题，但是在摄像头的选择上也需要遵循一定的原则。另外，从激光雷达的原理来看，激光雷达可以通过发射和接收点云自然地拟合各种形状的物体。不过，使用激光雷达还需要从成本、性能、功耗等方面考虑。承载的可行性。
