arXiv论文“CARLA-GEAR：用于系统评估视觉模型对抗性鲁棒性的数据集生成器”，6月22日，意大利。本文介绍了CARLA-GEAR，这是一种自动生成逼真的合成数据集的工具，可用于系统地评估神经网络对物理对抗补丁的对抗鲁棒性，并比较不同对抗防御/检测方法的性能。该工具基于CARLA模拟器构建，并使用PythonAPI为自动驾驶环境中的多个视觉任务生成数据集。生成的数据集包含贴在广告牌或卡车后部的对抗性补丁，并采用最先进的白盒攻击策略精心制作，可最大限度地提高测试模型的预测误差。最后，本文提出了一项实验研究，评估了针对此类漏洞的某些防御方法的性能。所有代码和数据集都位于http://carlagear.retis.santannapisa.it。一些有代表性的驾驶场景如图所示：考虑到对抗性补丁可能被放置在城市场景中（例如，在广告牌或卡车上）和一个可选的对抗性补丁，CARLA-GEAR将parch附加到选定的表面并迭代放置车辆和其他场景周围的摄像头，收集高分辨率的RGB图像和ground-truth标签，以及关于摄像头信息的内部和外部参数的附加参数，以及广告牌在场景中的位置。该管道旨在为涉及自动驾驶感知的四种不同计算机视觉任务生成数据集。每个数据集旨在评估CNN的对抗性稳健性和/或防御方法在可能发生物理对抗性攻击的情况下的性能。对于每种情况，都会在距离可击表面不同的距离处迭代生成带有摄像头的自我车辆，以及随机的非代表性角色（NPC，即车辆和行人）。数据集由如此收集的RGB图像和相应的地面实况注释组成，这些注释对于每个任务都是不同的。对抗场景主要取材于贴片的真实对抗打击。该工具考虑了两种不同类型的情况：(i)路边广告牌上的补丁，以及(ii)摄像机前卡车后面的补丁。每个广告牌位置在yml文件中指定为广告牌在地图中的固定位置。同一个文件指定了自我和NPC相对于广告牌的生成位置限制。然后在这些限制范围内随机生成。以这种方式，可以生成相同潜在危险场景的不同视图。虽然广告牌有固定的位置，但卡车在地图上是随机生成的，而自我汽车则以不同的随机距离在它们后面生成。数据生成和收集的管道如图所示：数据集是通过迭代3个步骤构建的：（i）清理任何额外的车辆/行人，（ii）根据特定情况的生成约束，(iii)保存RGB图像、地面实况、广告牌和相机姿势。实验结果如下：（a）每个任务的性能与用于优化图像不可知块的样本数有关。该实验在billboard02上进行了十次，每次实验都更换了种子。虚线表示基线性能（随机补丁），而误差条表示标准偏差。(b)CARLA的不同天气预设对每项任务的基线性能（随机补丁）和有效性的影响。针对三种不同的情况进行了实验，具有不同的相机-太阳相对方向。
