arXiv论文“在CARLA自动驾驶模拟器中插入真实代理行为”，6月22日，西班牙。由于需要快速原型设计和广泛测试，仿真在自动驾驶中的作用变得越来越重要。基于物理的仿真以合理的成本提供多种优势和好处，同时消除了原型设计、驾驶员和弱势道路使用者(VRU)的风险。但是，主要有两个限制。首先，众所周知的现实差距是指现实与模拟之间的差异，阻止模拟的自动驾驶体验实现有效的现实世界性能。其次，缺乏关于真实代理人（人类）行为的经验知识，包括后备司机或乘客以及其他道路使用者，如车辆、行人或骑自行车的人。代理模拟通常是预先编程的确定性、概率随机性或基于真实数据生成的，但不代表真实代理与特定模拟场景交互的行为。本文提出了一个初步框架，以实现真实代理和模拟环境（包括自动驾驶车辆）之间的实时交互，并从具有多个视图的模拟传感器生成合成序列数据，用于训练依赖于行为模型的预测系统。该方法将沉浸式虚拟现实(VR)和人体动作捕捉(HMC)系统与CARLA集成在一起，用于自动驾驶。它描述了硬件和软件架构，并讨论了所谓的行为差距。该方法的概述如图所示：（1）CARLA-UE配备了头部（VR耳机）和身体（动作捕捉系统）姿势。(2)生成场景，包括自动驾驶车辆和数字化行人。(3)为行人提供环境（通过VR耳机）。(4)自主车辆传感器感知环境，包括行人。下面介绍CARLA自动驾驶模拟器中沉浸式VR系统的功能。通过利用UE4和外部硬件（例如VR眼镜和一组用于行为和交互研究的运动传感器）提供的功能，实现完全的行人沉浸感。CARLA开源模拟器在UE4之上实现，它提供高质量的渲染、逼真的物理环境和可互操作的插件生态系统。CARLA模拟动态交通场景，并提供UE4创建的虚拟世界与场景中运行的道路代理之间的接口。CARLA旨在作为服务器-客户端系统执行此操作，其中服务器运行模拟并渲染场景。客户端和服务器之间的通信是通过套接字完成的。仿真中插入真实智能体行为的主要特点是基于五点（如图所示）：1）头像控制：CARLA蓝图库，收集所有角色和属性的架构，修改行人蓝图，创建人与人之间虚拟世界沉浸在可移动的VR界面中；2）身体追踪：使用一套惯性传感器和专有的外部软件，通过真实场景捕捉主体的运动和运动感知，并通过.bvh文件将Avatar的运动集成到模拟器中；3）声音设计：由于CARLA是一款无音频模拟器，在环境中引入位置音，增强沉浸感；4）eHMI集成：实现自动驾驶车辆状态和意图信息的交流，交互研究；5）场景模拟：在CARLA客户设计航站楼交通场景，控制车辆和行人的行为。道路使用者之间的交流是交通环境中的一个重要因素。自动驾驶汽车配备了外部人机界面(eHMI)，可将其状态和意图传达给实际道路使用者。如图所示，拟议的eHMI设计包括沿着汽车前部的灯带。左图没有eHMI，右图有eHMI。这使得研究行人轨迹与虚拟场景车辆轨迹汇合时界面对决策的影响成为可能。整个系统架构如图所示：CARLA提供了不同的选项来模拟交通和特定的交通场景。使用交通管理模块将模拟与现实的城市交通状况相结合。每辆车的控制都在特定的线程上执行。与其他层的通信通过同步消息传递进行管理。通过设置强制特定行为的参数来控制流量。例如，可以允许汽车超速、无视红绿灯情况、无视行人或强制改变车道。该主题被集成到一个模拟器中，其中包括城市的3D模型地图。每张地图都基于描述完整注释道路布局的OpenDRIVE文件。此功能允许设计自己的地图，在真实和虚拟环境中再现相同的交通场景，评估模拟器真实行为的集成，并通过比较交互结果进行实地研究。硬件设置如图：实验过程中使用OculusQuest2作为头戴式设备（HMD），由Meta打造，6GBRAM处理器，两个可调1832x1920镜头，90Hz刷新率和256GB内存记忆。Quest2具有Wi-Fi6、蓝牙5.1和USBType-C连接、SteamVR支持和3D扬声器。对于全身跟踪，将解决方案与带有惯性跟踪器的PNS打包在一起。该套件包括独立VR耳机、2个运动控制器、17个Studio惯性身体传感器、14个腕带、1个充电盒和1个Studio收发器。由于CARLAbuild和Quest2仅依赖Windows，VRImmersionSystem目前依赖UE4.24和Windows10操作系统。使用TCP套接字插件，编辑器的所有参与者位置和其他有用参数都从PythonAPI发送，集成每个参与者的语音或自动驾驶车辆的eHMI。“VR预览”在HMD上启动游戏。PerceptionNeuronStudio与AxisStudio配合使用，后者一次最多支持3个对象，同时支持23个身体和手指传感器。该图是交互式交通条件的模拟：（a）3D世界设计。(b)行人匹配执行者头像。(c)自动驾驶汽车。(d)环境声音和代理声音。(e)eHMI。(f)交通信号灯和交通标志。
