arXiv论文《Ithaca365:DatasetandDrivingPerceptionunderRepeatedandChallengingWeatherConditions》，8月1日、22日上传，康奈尔大学和俄亥俄州立大学合作。得益于大规模数据集，自动驾驶汽车的感知能力近年来有所提高，这些数据集通常是在特定地点和有利的天气条件下收集的。然而，为了满足高安全要求，这些感知系统必须在各种天气条件下稳健运行，包括雪和雨。本文提出了鲁棒自动驾驶的数据集，使用新的数据收集过程，涉及不同场景（城市、高速公路、乡村、校园）、天气（雪、雨、太阳）、时间（白天/夜晚）和数据被重复记录在交通条件下（行人、骑自行车者和汽车）沿着15公里的路线行驶。该数据集包括来自相机和激光雷达传感器的图像和点云，以及用于建立交叉路线对应的高精度GPS/INS。该数据集包括道路和对象注释、局部遮挡和具有模态蒙版捕获的3-D边界框。重复路径为对象发现、持续学习和异常检测开辟了新的研究方向。Ithaca365link:Anewdatasettoenablerobustautonomousdrivingviaanoveldatacollectionprocess用于数据收集的传感器配置如图a所示：图a显示了路线图，其中包含在多个位置捕获的图像。驱动器被安排在一天中的不同时间收集数据，包括晚上。记录道路清理前后的大雪情况。该数据集的一个关键特征是在不同条件下观察到相同的位置；图b中显示了一个示例。图为不同条件下的遍历解析：Developingacustommarkertoolforobtainingnon-modalmasksofroadsandtargets。相同路线的重复遍历用于不同环境条件下的道路标签，例如积雪路面。具体来说，“好天气”的道路标签通过由GPS姿态和激光雷达数据构建的点云道路地图转换为“坏天气”。路线/数据分为76个区间。将点云投影到BEV中并使用多边形标记器标记道路。在BEV中标记道路（生成二维道路边界）后，将多边形分解为更小的150m^2多边形，使用1.5m平均高度的阈值，对多边形边界内的点进行平面拟合以确定道路高度。使用RANSAC和回归器将平面安装到这些点；然后使用估计的地平面来计算沿边界的每个点的高度。将道路点投影到图像中并创建深度掩码以获得道路的非模态标签。使用GPS将位置与标记地图匹配并使用ICP优化路线允许将地平面投影到新收集路线的特定位置。通过验证道路标签的平均投影地面实况掩模与同一位置的所有其他地面实况掩模是否符合80%mIOU，对ICP解决方案进行最终检查；如果不是，则不检索查询位置数据。非模态对象使用ScaleAI标记为六种前景对象类别：汽车、公共汽车、卡车（包括货物、消防车、皮卡车、救护车）、行人、骑自行车的人和骑摩托车的人。这种标记范式具有三个主要组成部分：首先识别对象的可见实例，然后推断被遮挡的实例分割掩码，最后标记每个对象的遮挡顺序。标记是在最左侧的前向相机视图上执行的。遵循与KINS相同的标准（“Amodalinstancesegmentationwithkinsdataset”。CVPR，2019）。为了展示数据集的环境多样性和非模态质量，对两个基线网络进行了训练和测试，以识别像素级别的非模态道路，即使道路被雪或汽车覆盖。第一个基线网络是语义前景修复（SFI）。如图所示，第二条基线通过以下三项创新改进了SFI。Positionandchannel注：因为non-modalsegmentation主要推断什么是不可见的，context是一个很重要的cue。DAN（“Dualattentionnetworkforscenesegmentation”，CVPR'2019）引入了两项创新来捕捉两个不同的背景。位置注意模块(PAM)使用像素特征来关注图像的其他像素，实际上从图像的其他部分捕获上下文。ChannelAttentionModule(CAM)使用类似的注意机制来有效地聚合有关通道的信息。这两个模块在这里应用于骨干特征提取器。结合CAM和PAM以更好地定位精细掩模边界。最终的前景实例掩码由上采样层获得。用于修复的混合池化：最大池化用作修复操作，用附近的背景特征替换重叠的前景特征，有助于恢复非模态道路特征。然而，由于背景特征通常是平滑分布的，最大池化操作对任何添加的噪声都非常敏感。相反，平均池化操作可以自然地减轻噪声。为此，修复了averagepooling和maximumpooling的组合，称为MixturePooling。求和操作：在最后的上采样层之前，不直接传递来自混合池化模块的特征，而是包含来自PAM模块输出的残差链接。通过在道路分割分支中联合优化两个特征图，PAM模块还可以学习遮挡区域的背景特征。这可以导致更准确地恢复背景特征。PAM和CAM的架构图如图所示：混合池化patching算法伪代码如下：非模态道路分割训练和测试代码如下：https://github.com/coolgrasshopper/amodal_road_segmentation实验结果如下：
