前言随着人工智能及其软硬件技术的进步，自动驾驶近年来得到了飞速发展。该自动驾驶系统已应用于民用汽车辅助驾驶、自动物流机器人、无人机等领域。感知组件是自动驾驶系统的核心，使车辆能够分析和理解内部和外部交通环境信息。然而，与其他软件系统一样，AV感知系统也受到软件缺陷的困扰。此外，自动驾驶系统在安全关键场景下运行，其软件缺陷可能导致灾难性后果。近年来，因自动驾驶系统缺陷造成的伤亡事故屡见不鲜。自动驾驶系统测试技术受到学术界和工业界的广泛关注。企业和研究机构提出了虚拟仿真测试、真实道路测试、虚拟-真实测试等一系列技术和环境。然而，由于自动驾驶系统输入数据类型的特殊性和运行环境的多样性，此类测试技术的实施需要消耗过多的资源并承担较大的风险。本文简要分析了当前自动驾驶感知系统测试方法的研究和应用现状。1自动驾驶感知系统测试自动驾驶感知系统的质量保证越来越重要。感知系统需要帮助车辆自动分析和理解路况信息。其组成非常复杂，需要在众多交通场景下充分测试被测系统的可靠性和安全性。目前自动驾驶感知测试主要分为三类。无论何种测试方法，都表现出不同于传统测试的一个重要特点，即对测试数据的强依赖性。第一类测试主要基于软件工程理论和形式化方法等，以感知系统实现的模型结构机制为出发点。这种测试方法是基于对自动驾驶感知的运行机制和系统特性的高度理解。本次偏向感知系统逻辑测试的目的是在系统开发初期发现感知模块的设计缺陷，以保证模型算法在系统早期迭代中的有效性。基于自动驾驶算法模型的特点，研究人员提出了一系列测试数据生成、测试验证指标、测试评估方法和技术。第二种测试虚拟仿真方法是利用计算机抽象出实际交通系统来完成测试任务，包括在预设的虚拟环境中进行系统测试或对感知组件进行独立测试。虚拟仿真测试的效果取决于虚拟环境的真实性、测试数据的质量和具体的测试执行技术，需要充分考虑仿真环境构建方法、数据质量评估和测试验证技术的有效性.自动驾驶环境感知和场景分析模型依赖于大规模有效的交通场景数据进行训练和测试验证。国内外研究人员对交通场景及其数据结构生成技术进行了大量研究。利用数据变异、仿真引擎生成、游戏模型渲染等方法构建虚拟测试场景数据，获取高质量的测试数据，将不同生成的测试数据用于自动驾驶模型和数据放大增强。测试场景和数据生成是关键技术。测试用例必须足够丰富以覆盖测试样本的状态空间。需要在极端流量情况下生成测试样本，以测试系统决策输出模型在这些边界用例下的安全性。虚拟测试往往结合现有的测试理论和技术，构建有效的方法来评估和验证测试效果。第三类是对搭载自动驾驶感知系统的实车进行道路测试，包括预设的封闭场景测试和实际路况测试。这种测试的优点是在真实环境中进行测试，可以充分保证结果的有效性。但这种方法难以满足测试场景的多样化需求，相关交通场景数据样本获取困难，真实道路采集数据人工标注成本高，标注质量参差不齐，测试里程要求太大，数据采集周期太长。.人类在危险场景中驾驶会带来安全隐患，测试人员很难在现实世界中解决这些问题。同时，交通场景数据也存在数据来源单一、数据多样性不足等问题，无法满足软件工程领域自动驾驶研究人员的测试验证需求。尽管如此，道路测试作为传统车辆测试不可或缺的环节，在自动驾驶感知测试中显得尤为重要。从测试类型来看，感知系统测试针对整车开发生命周期，有不同的测试内容。自动驾驶测试可分为模型在环（MiL）测试、软件在环（SiL）测试、硬件在环（HiL）测试、车辆在环（vehicle-in-the-loop）测试(ViL)测试等。本文重点介绍自动驾驶感知系统测试的SiL和HiL的相关部分。HiL包括感知硬件设备，如摄像头、激光雷达、人机交互感知模块等。另一方面，SiL使用软件仿真来替换真实硬件生成的数据。两项测试的目的都是为了验证自动驾驶系统的功能、性能、稳健性和可靠性。针对特定的测试对象，在每个感知系统开发阶段，结合不同类型的测试和不同的测试技术，完成相应的验证需求。目前的自动驾驶感知信息主要来自于几类主要数据的分析，包括基于图像（摄像头）、点云（激光雷达）和融合感知系统。本文主要分析这三类数据的感知测试。2自动驾驶图像系统测试多种类型摄像头采集的图像是自动驾驶感知最重要的输入数据类型之一。图像数据可以提供车辆的前视、环视、后视和侧视环境信息，帮助自动驾驶系统实现道路测距、目标识别与跟踪、自动变道分析等功能.图像数据有多种格式，如RGB图像、语义图像、深度图像等，这些图像格式各有特点。例如，RGB图像具有更丰富的颜色信息，深度图像包含更多的场景深度信息，语义图像是基于像素分类得到的，更有利于目标检测和跟踪任务。基于图像的自动驾驶感知系统测试依赖于大规模有效的交通场景图像进行训练和测试验证。但真实道路采集数据人工标注成本高，数据采集周期过长，危险场景人工驾驶法规不完善，标注质量参差不齐。同时，交通场景数据也受到数据来源单一、数据多样性不足等因素的影响，不足以满足自动驾驶研究的测试验证需求。国内外研究人员对交通场景数据的构建与生成技术进行了大量研究，采用数据变异、对抗生成网络、仿真引擎生成、游戏模型渲染等方法构建虚拟测试场景数据，从而获得高质量的测试数据。不同生成的测试数据用于自动驾驶模型和数据扩充。通过使用图像的硬编码转换来生成测试图像是一种有效的方法。可以使用各种数学变换和图像处理技术对原始图像进行变异，以测试自动驾驶系统在不同环境条件下的潜在错误行为。张等。使用基于对抗生成网络的图像风格转换方法来模拟具有特定环境条件的车辆驾驶场景。一些研究在虚拟环境中进行自动驾驶测试，使用由物理仿真模型的3D模型构建的交通场景，并渲染为2D图像作为感知系统的输入。测试图像也可以通过合成生成，对低维图像的子空间中的可修改内容进行采样，进行图像合成。与直接对图像进行变异相比，合成场景更加丰富，图像摄动操作更加自由。弗里蒙特等人。使用自动驾驶专用领域编程语言Scenic预先设计测试场景，利用游戏引擎接口生成特定的交通场景图像，并使用渲染图像在目标检测模型上进行训练和验证。裴等。使用差分测试的思想来发现自动驾驶转向模型的输出不一致，也提出使用神经元覆盖率，即神经网络中超过预设给定激活阈值的神经元比例，来衡量有效性的测试样本。在神经覆盖的基础上，研究人员还提出了许多新的测试覆盖概念，如神经元边界覆盖、强神经元覆盖、层次神经元覆盖等。此外，利用启发式搜索技术寻找目标测试用例也是一种有效的方法。核心难点在于设计测试评价指标来指导搜索。在自动驾驶影像系统的测试中，特殊驾驶场景下标记数据缺失的现象很普遍。我们团队提出了一种自适应深度神经网络测试用例选择方法ATS，受软件测试领域自适应随机测试的思想启发，解决自动驾驶感知系统中深度神经网络测试数据标注人力成本高的问题这个难题。3自动驾驶激光雷达系统测试激光雷达是自动驾驶系统的关键传感器。它可以测量传感器发射器与目标物体之间的传播距离，分析目标物体表面的反射能量，反射频谱的幅度、频率和相位。和其他信息。其采集的点云数据准确刻画了驾驶场景中各种物体的三维尺度和反射强度信息，可以弥补摄像头数据形式和精度的不足。激光雷达在自动驾驶目标检测、定位建图等任务中发挥着重要作用，是单一视觉无法替代的。自动驾驶作为典型的复杂智能软件系统，以激光雷达捕捉到的周围环境信息为输入，通过感知模块中的人工智能模型进行判断，经过系统规划和控制完成各种驾驶任务。虽然人工智能模型的高复杂性赋予了自动驾驶系统感知能力，但现有的传统测试技术依赖于人工采集和标记点云数据，成本高、效率低。另一方面，点云数据杂乱无章，缺乏明显的颜色信息，易受天气因素干扰，信号容易衰减，使得点云数据的多样性在测试过程中显得尤为重要。基于激光雷达的自动驾驶系统的测试仍处于初步阶段。实际路测和模拟测试都存在成本高、测试效率低、测试充分性无法保证等问题。鉴于自动驾驶系统面临的测试场景多变、软件系统庞大复杂、测试成本巨大，提出结合领域知识的测试数据生成技术对于自动驾驶系统的保障具有重要意义。在雷达点云数据生成方面，Sallab等人。通过构建循环一致性生成对抗网络对雷达点云数据进行建模，分析模拟数据的特征生成新的点云数据。悦等。提出了一种用于自动驾驶场景的点云数据生成框架。该框架根据标记的对象对游戏场景中的点云数据进行准确变异，得到新的数据。他们利用这种方法获得的变异数据对自动驾驶系统的点云数据处理模块进行了重新训练，精度得到了提升。团队设计并实现了一款激光雷达自动化测试工具LiRTest，主要用于自动驾驶车辆目标检测系统的自动化测试，并可进一步进行再训练以提高系统的鲁棒性。LiRTest首先由领域专家设计物理和几何模型，然后基于模型构建变换算子。开发者从真实数据中选取点云种子，利用点云处理单元对其进行识别和处理，并实现基于变换算子的变异算法，生成用于评估自动驾驶3D物体检测模型数据鲁棒性的测试。最终LiRTest拿到测试报告，反馈算子设计，迭代提升质量。自动驾驶系统是典型的信息物理融合系统。它的运行状态不仅取决于用户输入的信息和软件系统的内部状态，还受物理环境的影响。虽然目前有少量研究关注受各种环境因素影响的点云数据的生成，但由于点云数据的特性，生成数据的真实性很难与路测数据等同。因此，如何在不明显增加额外资源消耗的情况下，自动生成能够描述多种真实环境因素的点云数据是需要解决的关键问题。在自动驾驶软件的通用软件架构中，人工智能模型对驾驶决策和系统行为有着极其重要的影响。它影响的功能包括：物体识别、路径规划、行为预测等。点云数据处理最常用的人工智能模型是目标检测模型，它使用深度神经网络实现。虽然该技术在特定任务上可以达到很高的准确率，但由于其结果缺乏可解释性，用户和开发者无法分析和确认其行为，这给测试技术的发展和测试充分性的评估带来了挑战。难度很大。这些都是未来激光雷达模型测试人员需要面对的挑战。4自动驾驶融合感知系统测试自动驾驶系统通常配备多种传感器来感知环境信息，并配备多种软件和算法来完成各种自动驾驶任务。不同的传感器具有不同的物理特性，其应用场景也不同。融合传感技术可以弥补单个传感器环境适应性差的问题，通过多个传感器的协同工作，保证自动驾驶系统在各种环境条件下的正常运行。由于信息记录方式的不同，不同类型的传感器之间具有很强的互补性。摄像头安装成本低，采集到的图像数据分辨率高，具有丰富的色彩、纹理等视觉信息。然而，摄像头对环境敏感，在夜间、强光等光线变化时可能不可靠。而激光雷达则不易受光线变化的影响，提供白天和白天的精确三维感知。夜晚。但激光雷达价格昂贵，采集到的点云数据缺乏颜色信息，难以识别形状不明显的目标。如何利用各模态数据的优势挖掘更深层次的语义信息已成为融合感知技术中的重要课题。研究人员提出了多种数据融合方法。基于深度学习的激光雷达与相机融合传感技术因其精度高而成为主要研究方向。冯等。将融合方法简单概括为三种类型：早期融合、中期融合和晚期融合。早期融合只对原始数据或预处理后的数据进行融合；中期融合对各分支提取的数据特征进行交叉融合；后期融合仅融合每个分支的最终输出。尽管基于深度学习的融合传感技术在现有基准数据集上展示了巨大的潜力，但此类智能模型在复杂环境的真实场景中仍可能表现出不正确和意外的极端行为，从而导致致命损失。需要对此类融合感知模型进行全面测试，以确保自动驾驶系统的安全性。目前，融合感知测试技术还处于初级阶段，主要问题是测试输入领域大，数据采集成本高。因此，自动化测试数据生成技术受到了广泛关注。王等。提出了一种跨模态数据增强算法，通过根据几何一致性规则将虚拟对象插入图像和点云来生成测试数据集。张等。提出了一种使用多模态变换流来保持点云和图像像素之间正确映射的多模态数据增强方法，并在此基础上进一步提出了一种多模态剪切和粘贴增强方法。考虑到真实场景中复杂环境对传感器的影响，我们的团队设计了一种用于多模态融合传感系统的数据增强技术。在这种方法中，该领域的专家为每个模态数据制定了一套具有真实语义的突变规则，自动生成测试数据来模拟真实场景中干扰传感器的各种因素，帮助软件开发人员测试和评估融合感知系统。该方法使用的变异算子包括信号噪声算子、信号对齐算子和信号丢失算子三类，分别模拟真实场景中存在的不同类型的干扰。噪声算子是指在传感器数据采集过程中，由于环境因素的影响，采集到的数据中存在噪声。例如，对于图像数据，使用spot和blur等算子来模拟相机遇到强光和抖动时的情况。对齐算子模拟多模态数据模式的错位，包括时间错位和空间错位。对于前者，通过随机延迟信号来模拟传输阻塞或延迟的情况。对于后者，通过对各传感器的标定参数进行微调，模拟车辆行驶过程中因车辆晃动等问题导致传感器位置发生轻微变化。信号丢失运算符模拟传感器故障。具体来说，随机丢弃一个信号后，观察融合算法是否能及时响应或正常工作。总之，多传感器融合感知技术是自动驾驶发展的必然趋势。完整的测试是保证系统在复杂的真实环境中正常工作的必要条件。如何在有限的资源内进行充分的测试，仍然是一个亟待解决的问题。结语自动驾驶感知测试正与自动驾驶软件的开发过程紧密结合，各种在环测试将逐渐成为自动驾驶质量保障的必要环节。在工业应用中，实际的路测仍然很重要。但存在成本高、效率不够、安全隐患大等问题，远不能满足自动驾驶智能感知系统的测试验证要求。形式化方法和仿真虚拟测试等多个分支的快速发展为改进测试提供了有效途径。研究人员探索适用于智能驱动的模型测试指标和技术，为虚拟仿真测试方法提供支持。团队致力于研究自动驾驶感知测试数据的生成、评估和优化，重点在基于图像、点云数据和感知融合测试三个方面进行深入研究，确保高质量的自动驾驶感知系统。
