1什么是轨迹预测？在自动驾驶中，轨迹预测一般位于感知模块后端和调控前端。它是一个连接模块。输入感知模块提供的目标轨迹状态信息和道路结构信息，综合考虑高精度地图信息、目标间交互信息、环境语义信息和目标意图信息，做出意图对各种感知目标的预测（切入/切出，直行）和未来一段时间（范围0-5s）的轨迹预测。如下所示。ADAS系统需要对周围环境信息具有一定的认知能力。最基本的一层是认识环境，再下一层就需要了解环境，再下一层就需要预测环境。调节控制在预测到目标后，可以根据预测到的信息规划本车的路径，并对可能出现的危险情况做出刹车或报警的决定。这就是轨迹预测模块的意义。2两种挑战轨迹预测可分为短期预测和长期预测。短期预测一般是基于运动学模型（CV/CA/CTRV/CTRA）根据当前目标状态信息预测未来一段时间内的轨迹。一般<1s比较合适。如果时间太长，则目标仅与运动学有关。它不会成立。对于短期预测，可以建立专门用于预测的运动模型。同样的，也可以使用前面感知模块过滤中的预测模块，只是不调用measurement进行过滤更新。这样做的好处是可以传播不确定性。长期预测是该行业目前正在做的事情。这种预测不适合单独基于运动模型。一般来说，需要做意图预测，结合一些上下文信息（地图，目标之间的交互信息）才能得到好的结果。这时候业界有很多不同的输出形式，比如输出轨迹的概率分布、多个预测轨迹的输出、一个最有可能的预测轨迹的输出。长期轨迹预测有两个挑战：输出一种可能的轨迹或输出所有可能的轨迹是不合理的。如果输出一个预测的轨迹，可能会错过真实的轨迹，如果输出所有可能的轨迹，就会出现误报，这对ADAS系统来说是不能接受的。应考虑将预测轨迹限制为合适的子集。你对轨迹预测做的越多，你需要做的假设就越多。一个极端的假设是假设道路上的所有物体都遵守交通规则。如果用于交通模拟功能，这是合理的，但不适用于需要对潜在危险情况敏感的adas系统。影响长期轨迹预测的不确定性主要来自三个方面：感知模块输出的目标状态估计的不确定性。驾驶意图预测的不确定性。意图识别和车辆机动性变化之间的不确定性。3主要考虑轨迹预测系统应该考虑四个问题：轨迹预测应该对潜在危险敏感，这是轨迹预测存在的意义所要求的。既要考虑运营模式，又要考虑意图和周边环境的信息。考虑上面的不确定性。考虑轨迹输出数量的问题。4行业方法下图为博世公司发表的综述论文[2]中的分类方法。如果按照使用的模型不同来分类，轨迹预测方法可以分为使用物理模型的方法、使用学习的方法和使用规划算法的方法。如果按照所使用的信息来分类，轨迹预测方法可以分为利用目标信息的方法、利用环境中动态目标信息的方法和利用静态环境信息的方法。轨迹预测涉及哪些通用算法？意图预测：模糊理论、静态BNs、DBN（HMM、JumpMM）、DS证据理论、机器学习中的分类算法。深度学习相关的端到端输出。CNN、LSTM、RNN、注意力。哪些具体信息可以用于轨迹预测？目标信息：当前/历史速度和位置信息。对于行人轨迹预测，还可以使用行人头部方向、关节信息、性别和年龄信息以及人类注意力信息。环境中的动态目标信息：社会力、吸引力、群体约束信息。静态环境信息：自由空间、地图、语义信息（道路结构/交通规则/当前红绿灯）。目前，学术界关于轨迹预测的论文越来越多。主要原因是业界还没有行之有效的方法。以下是行业论文：BMW:PhysicalModel+IntentionPrediction(learning-based)。利用启发式方法整合专家知识，简化交互模型，在意图预测的分类模型中加入博弈论思想[3]。BENZ：主要是意图预测的相关论文，使用DBN[4]。优步：LaneRCNN[5]。谷歌：VectorNet[6]。华为：首页[7]。Waymo：TNT[8]。Aptive：Covernet[9]。NEC：R2P2[10]。商汤科技：TPNet[11]。美团：星网[12]。行人。爱比：苏菲[13]。行人。麻省理工学院：社会lstm[14]。行人。中国科学技术大学：STGAT[15]。行人。百度：Lane-Attention[16]。Apollo：可以参考下面的博客。https://www.cnblogs.com/liuzubing/p/11388485.htmlApollo的预测模块接收来自感知、定位和地图模块的输入。1.首先将场景拆分为普通巡航道路和十字路口两个场景。2.然后将感知重要性分为可以忽略的目标（不会影响自车）、需要小心处理的目标（可能会影响自车）和普通目标（介于两者之间）.3.然后进入Evaluator，本质上是一个意图预测。4.最后，输入用于预测轨迹生成的预测器。针对静止目标、沿路行驶、freeMove、路口等不同场景做不同的操作。5Datasets(1)NGSIM该数据集是美国FHWA采集的高速公路行驶数据，包括一段时间内所有车辆在US101、I-80等道路上的行驶情况。数据由摄像头采集，然后处理成轨迹点记录。它的数据集是一个CSV文件。数据没有太多噪音。更多整体调度层面的信息，如道路规划、车道设置、交通流量调控等，车辆运动状态需要进一步提取。处理代码可以使用下面的github。https://github.com/nachiket92/conv-social-pooling(2)交互此数据集是加州大学伯克利分校的机械系统控制实验室（MSC实验室）与卡尔斯鲁厄研究所的合作成??果MINESParisTech的技术(KIT)和合作者已经建立了一个国际性的、对抗性的、协作的数据集(INTERACTION)。它准确地再现了不同国家各种驾驶场景中道路使用者（如车辆、行人）的大量交互行为。http://www.interaction-dataset.com/(3)apolloscape这是Apollo公开的自动驾驶数据集，包含轨迹预测的数据。内部文件是2fps的1分钟数据序列。数据结构包括帧号ID、目标ID、目标类别、位置xyz、长宽高信息、标题。目标类别包括汽车、手推车、行人、自行车/电动汽车等。https://apolloscape.auto/trajectory.html(4)TRAF该数据集专注于高密度交通状况，可以帮助算法更好地关注不确定环境下的人类驾驶员行为分析。该数据每帧分别包含约13辆机动车、5辆行人和2辆自行车https://gamma.umd.edu/researchdirections/autonomousdriving/ad链接中有很多使用该数据集的轨迹预测项目。(5)nuScenes来了，这个数据集于2020年4月发布。它收集了波士顿和新加坡这两个交通繁忙且驾驶条件具有挑战性的城市的1,000个驾驶场景。它的数据集有相关论文，大家可以看一下，对这个数据集有更深入的了解。https://arxiv.org/abs/1903.11027这个数据集中有预测相关的游戏，可以关注。https://www.nuscenes.org/prediction?externalData=all&mapData=all&modalities=Any6评估指标目前主要使用的评估指标是几何指标。几何度量的指标有很多，主要用到的有ADE、FDE、MR。ADE是归一化欧氏距离。FDE是最终预测点之间的欧氏距离。MR是未命中率。有许多不同的名称。最主要的是设置一个阈值。如果预测点之间的欧几里得距离低于这个预测值，则记录为命中。如果高于此阈值，则将被记录为未命中。最后，计算一个百分比。几何度量是衡量预测轨迹与实际轨迹相似度的重要指标，可以很好地代表准确率。但在轨迹预测存在的意义上，单单评估准确性是没有意义的。还应该有评估不确定性的概率措施，特别是对于多模式输出分布；任务级措施、稳健性措施和效率措施。概率测度：KL散度、预测概率、累积概率都可以作为概率测度。如NLL、KDE-basedNLL[17]。任务级指标：评估轨迹预测对后端调节的影响（piADE、piFDE）[18]。鲁棒性：在预测之前考虑观察到的轨迹部分的长度或持续时间；训练数据的大小；输入数据采样频率和传感器噪声；神经网络泛化、过度拟合和输入利用分析；感知模块如果传入的输入有问题，是否保证正常运行等。效率：应该考虑计算能力。如下图所示，本文主要考虑的是基于真实值（蓝色），灰色目标车预测的紫色和绿色轨迹，如果使用几何度量，则ADE和FDE相同，但预测不同methodsarefortheself-vehicleplanningwillhaveaimpact,但是没有这种评估任务级别的测量，所以他们提出了piADE和piFDE来做这个。7三个问题问题一：三种不同的轨迹预测方法：基于物理模型、基于学习、基于规划各自的应用场景在哪里，各自的优缺点是什么？不同的建模方法可以组合和利用不同类型的上下文信息。所有建模方法都可以通过使用目标的上下文线索、动态和静态环境来扩展。然而，不同的建模方法在组合不同类别的语义信息时表现出不同程度的复杂性和效率。1、基于物理模型方法的适用场景：目标、静态环境、动态仿真均可通过显式传递方程进行建模。优点：通过选择适当的传递方程，基于物理模型的方法可以轻松地跨环境应用，并且不需要训练数据，尽管一些参数估计数据很有用。在本文中，简单的CV模型也产生了合理的结果。基于物理模型的方法很容易通过目标代理线索进行扩展。缺点：这种显式建模方法可能无法很好地捕捉现实世界的复杂性。传递方程缺乏空间和时间上的全局信息，导致有可能获得局部最优解。这些缺点将物理方法的使用限制在短期预报或无障碍环境中。2.learning-based方法适用场景：适用于当前未知信息复杂的环境（如语义丰富的公共区域），该信息可用于比较大的预测范围。优点：基于学习的方法有可能处理收集到的数据集中编码的所有类型的上下文信息。其中一些是基于地图的，其他的可用于进一步扩展上下文信息。缺点：需要在特定位置收集足够的数据才能进行培训。上下文信息扩展可能会导致涉及学习、数据效率和泛化问题。它倾向于用在非安全关键部件上，在ADAS中更关注可解释性，这是基于学习方法无法实现的。3、基于规划的方法适用场景：终点确定且有环境贴图的场景，有很好的表现。优点：如果满足以上两个条件，可以达到比物理方法更好的准确率，比基于学习的方法有更好的泛化能力。缺点：传统的规划算法：Dijkstra，FastMarchingMethod，optimalsampling-basedmotionplanners会随着目标的数量，环境的大小，预测范围的增加呈指数增长。与简单的基于物理的模型相比，上下文提示规划方法的参数（例如逆向编程的奖励函数和正向编程的模型）是微不足道的，通常更容易学习，但在推理方面，对于高维（目标）代理状态，效率较低。基于规划的方法本质上是地图感知和抽象感知的，并且自然地通过语义线索进行扩展。通常，他们将情境复杂性编码到目标/奖励方程式中，但这可能无法正确纳入动态线路输入。因此，作者必须设计特定的修改以将动态输入纳入预测算法（跳跃马尔可夫过程、预测轨迹的局部适应、博弈论）。与基于学习的方法不同，目标输入很容易合并，因为前向和后向规划过程都基于相同的目标动态模型。问题2：现在轨迹预测的问题解决了吗？轨迹预测的需求在很大程度上取决于应用领域和其中的特定用例场景。短期内，可能还不能说轨迹预测的问题已经解决了。以汽车行业为例，在制定要求和提出解决方案方面似乎是最重要的，因为有具体的标准规定定义了最高速度、交通规则、行人速度和加速度的分布以及舒适加速的规范/车辆的减速率。成熟。可以说，对于智能汽车的AEB功能，解决方案已经达到了允许消费品工业化生产的性能水平，所需用例已经得到解决。至于其他用例，在不久的将来将需要更多的标准化和明确的需求制定。它需要不断发展以获得稳健性和稳定性。所以在回答轨迹预测是否解决了这个问题之前，至少要定下标准。目前，对于机器人领域，基于物理模型和学习的方法可以在短时间内（1-2s）实现高精度。非常适合人群的局部运动规划和防撞。最简单的CV模型对机器人的局部规划效果很好。如果考虑行人之间的交互以及机器人的存在对行人运动的影响，则有许多先进的算法。对于需要预测15-20s的全局路径规划，有很大的挑战。要求可以适当放宽，理解动态和静态上下文输入（长期影响操作、环境地图推理、目标意图推断）变得非常重要。对于局部和全局路径规划，与位置无关的方法最适合预测各种设置中的运动。目前机器人预测4.8s的ADE为0.19-0.4m。简单的速度模型也可以实现0.53m的ADE。预计9s的ADE为1.4-2m。对于目前的自动驾驶领域：大部分工作考虑的是行人过马路：开始走，继续走，停止走。骑自行车：骑自行车的人接近一个十字路口时，他身后有多达五个不同方向的道路。问题3：当前用于测量轨迹预测性能的评估技术是否足够好？目前缺乏预测算法的系统方法，尤其是考虑上下文输入并预测任意数量目标的轨迹预测方法。大多数作者现在只使用几何指标（AED、FDE）来衡量算法的好坏。然而，对于长期预测，预测通常是多模态的并且与不确定性相关，并且此类方法的性能评估应使用考虑到这一点的指标，例如负对数似然或对数损失。还需要更好地反映人体运动的随机性和感知缺陷所涉及的不确定性的概率测量。还有一个鲁棒性评估，需要考虑系统在检测错误、跟踪缺陷、自定位不确定性或感知端地图变化等场景下的稳定性。同时，目前使用的数据集，虽然包含的场景非常全面，但这些数据集通常是半自动标注的，因此只能提供不完整且嘈杂的groundtruth估计。此外，在一些需要长期预测的应用领域，轨迹长度往往不足。最后，数据集中对象之间的交互通常是有限的，例如，在稀疏环境中，对象很难产生影响。总结：为了评估预测质量，研究人员应该选择更复杂的数据集（包括非凸障碍物、长轨迹和复杂的相互作用）和完整的度量（几何+概率）。更好的方法是根据不同的预测时间、不同的观测周期、不同的场景复杂度设置不同的精度要求。并且应该有鲁棒性评估以及实时评估。此外，应该有相关的指标来衡量ADAS系统对后端的影响[18]和衡量对危险场景的敏感度[1]。8未来方向来自此处引用的[2]中的讨论。目前的趋势是使用更复杂的方法来超越使用单一模型+KF的方法。Direction:Useenhancedcontextualinformation:你可以使用更深层次的语义信息，这应该对静态环境有更好的理解。并且目前使用语义特征进行轨迹预测还有待开发关于社会感知场景：①目前大多数方法都假设所有观察到的人的行为是相似的，他们的动作可以由相同的模型和相同的来确定，但是，高级社会属性的捕获和推理仍处于发展的早期阶段。②大多数可行的方法都是基于人与人相互合作的假设，而真实的人可能更倾向于优化个体目标而不是联合策略，所以传统AI+博弈论相结合的方法很有前途。对于长期预测，上下文信息变得尤为重要，因为意图是根据上下文和周围环境来考虑的。许多当前基于学习的方法将个体视为学习传递信息以确定未来运动方向的粒子。用更多意图驱动的预测扩展这些模型，类似于人类目标导向的行为，将有利于长期预测。大多数基于规划的方法都依赖于一组给定的目标，这使得它们在事先不知道目的地或可能的目的地数量太多的情况下无法使用或不精确。这使得根据语义信息自动推断目的地端点变得很重要。或者它可以动态识别环境中可能的目的地，并据此进行轨迹预测。这使得在未知环境中使用基于规划的方法成为可能。现有的方法都专注于解决特定类别的任务，例如当环境中有明显的运动模式时，或者当环境的空间结构和目标代理的目的地是预先知道的时。轨迹预测方法需要适应不确定/变化的环境，并能处理紧急情况。这需要迁移学习和一些应对新环境的方法，在这些环境中，学习和推理基本不变的规则、一般行人行为或防撞是不合适的。域自适应可用于学习泛化模型。另一个需要关注的方向：健壮性和可集成性。总结一下：简单来说，上下文信息应该更深入地使用，最好是针对不同的目标有不同的行为模型，博弈论，基于更多信息的更鲁棒的意图预测，终点的自动推理，以及对新环境的了解。泛化问题、稳健性和可集成性。
