伯克利开源首个停车场景高清数据集和预测模型,支持目标识别和轨迹预测。动态模型推导、可达性分析等传统轨迹预测方法虽然具有形式清晰、可解释性强等优点,但其对复杂交通环境中环境与物体相互作用的建模能力相对有限。因此,近年来大量的研究和应用都是基于各种深度学习方法(如LSTM、CNN、Transformer、GNN等),以及各种数据集如BDD100K、nuScenes、StanfordDrone、ETH/UCY、INTERACTION、ApolloScape等也应运而生,为深度神经网络模型的训练和评估提供了强有力的支持,GroupNet、Trajectron++、MultiPath等众多SOTA模型都表现出了良好的性能。以上模型和数据集都是针对正常道路驾驶场景,充分利用车道线、红绿灯等基础设施和特征来辅助预测过程;由于交通法规的限制,大部分车辆的行驶方式也比较明确。然而,在自动驾驶的“最后一公里”——自动泊车场景中,我们将面临许多新的困难:停车场内的交通规则和车道线要求不严格,车辆经常随意行驶,“靠拢”。为了完成泊车任务,车辆需要完成更复杂的泊车动作,包括频繁的倒车、泊车、转向等,在驾驶员经验不足的情况下,泊车可能成为一个漫长的过程,需要更多的避让动作。在这样的场景下,简单地应用现有的轨迹预测模型很难达到预期的效果,再训练模型缺乏相应数据的支持。目前基于停车场景的数据集,如CNRPark+EXT和CARPK,仅针对空置停车位设计detection.图片来自监控摄像头的第一人称视角,采样率低,遮挡较多,不能用于trajec保守党的预测。在2022年10月刚刚结束的第25届IEEE智能交通系统国际会议(IEEEITSC2022)上,加州大学伯克利分校的研究人员发布了首个针对停车场景的高清视频&轨迹数据集,并在基于在此数据集上,使用CNN和Transformer架构提出了名为“ParkPredict+”的轨迹预测模型。论文链接:https://arxiv.org/abs/2204.10777Dataset主页、试用及下载应用:https://sites.google.com/berkeley.edu/dlp-dataset(如果不能访问,可以试试备用页面https://cutt.ly/dlp-notion)DatasetPythonAPI:https://github.com/MPC-Berkeley/dlp-datasetDatasetInformationDataset由无人机采集,总时长3.5小时,视频分辨率为4K,采样率为25Hz。视野覆盖约140mx80m的停车场面积,共约400个车位。该数据集被准确标记,收集了1216辆机动车、3904辆自行车和3904名行人的轨迹。再处理后,可以读取JSON形式的轨迹数据,加载到连接图(Graph)的数据结构中:个体(Agent):每个个体(Agent)是当前场景(Scene)中运动的一个物体,具有几何形状和类型等属性,其运动轨迹存储为链表(LinkedList)实例(Instance):每个实例(Instance)都是一个框架(Frame)中的个体(Agent),包括它的位置,旋转角度、速度和加速度。每个实例包含一个指针帧(Frame),指向个体在上一帧和下一帧的实例:每一帧(Frame)是一个采样点,包含当前时间所有可见的实例(Instance),以及指针到上一帧和下一帧障碍物:障碍物是本次记录中根本没有移动过的物体,包括每个物体的位置、角点和几何尺寸场景(Scene):每个场景(Scene)对应一个录制的视频文件,其中包含指向记录的第一帧和最后一帧的指针,所有个体(Agent)和所有障碍物(Obstacle)数据集提供两种下载格式:JSONonly(推荐):JSON文件包含类型、形状、以及所有个体的轨迹,并可以通过开源的PythonAPI直接读取、预览和生成语义图像。如果研究目标只是轨迹和行为预测,JSON格式可以满足所有需求。原始视频和标注:如果研究是基于相机原始图像(RawImage)的主体检测、分割、跟踪等机器视觉领域,可能需要下载原始视频和标注。如果是这样,则需要在数据集应用程序中清楚地描述研究。另外,注解文件需要自己解析。行为与轨迹预测模型:以ParkPredict+为例。在IEEEITSC2022的论文《ParkPredict+: Multimodal Intent and Motion Prediction for Vehicles in Parking Lots with CNN and Transformer》中,研究团队利用该数据集实现了意图(Intent)和轨迹(Trajectory)预测。团队使用CNN模型,通过构建SemanticImages实现对车辆意图(Intent)分布概率的预测。该模型只需要构建车辆的局部环境信息,并可以根据当前环境不断改变可选意向的数量。通过改进Transformer模型,团队提供意图(Intent)预测结果、车辆的运动历史、周围环境的语义图作为输入,实现了多模态的意图和行为预测。总结作为首个针对停车场景的高精度数据集,DragonLakeParking(DLP)数据集可用于大规模目标识别与跟踪、空闲车位检测、车辆和行人行为与轨迹预测、模仿学习等。研究提供数据和API支持通过使用CNN和Transformer架构,ParkPredict+模型在停车场景中的行为和轨迹预测方面表现出良好的性能龙湖停车(DLP)数据集已开放试用和应用,可通过设置主页https访问://sites.google.com/berkeley.edu/dlp-dataset获取更多信息(如果您无法访问,请尝试另一个页面https://cutt.ly/dlp-notion)
