CARLAverse:模块化多模态人在环仿真框架

CARLAverse:模块化多模态人在环仿真框架

Patrick Rebling, Philipp Nenninger, Reiner Kriesten

1 分钟阅读•2026年9月14日

相关工作与技术现状

本节回顾硬件抽象领域的既有方法、混合交通仿真的发展现状,以及多智能体环境中分布式物理与延迟管理所面临的技术挑战,以此为CARLAverse生态系统的框架设计提供背景。

综合分析:CARLAverse的差异化优势

现有文献表明,依赖中间件的集中式物理架构,在支持高频率、全局联网的力反馈仿真器时,可能引入延迟与抖动问题。CARLAverse生态系统正是针对这些结构性权衡而设计。CARLAverse不再依靠中间件转换层执行主动控制,而是采用原生编排机制,并以三大基础支柱形成自身的差异化优势。

CARLAverse架构

为了在不牺牲人在环沉浸体验所需低延迟的前提下,构建高保真、多智能体混合交通环境,CARLAverse采用了专门设计的分布式软硬件架构。

系统架构概览

CARLAverse生态系统的核心拓扑遵循CARLA严格的服务器—客户端范式,同时扩展支持多个异构仿真客户端并行运行。架构中心是一台运行CARLA Unreal Engine环境的专用中央服务器。多台客户端机器通过网络连接至该中央服务器。每个本地节点承载一种特定的多模态仿真配置,例如DrivoCARLA驾驶仿真器、CycloCARLA自行车仿真器或WalkoCARLA行人仿真系统。

CARLAverse仿真节点的分布式物理架构

跨领域框架与编排

要为多个参与者创建连贯、共享的虚拟环境,仅有分布式物理还不够。为确保所有节点具备高度模块化能力并获得有效、可靠的实验结果,CARLAverse依靠一系列跨领域技术,对系统编排、遥测可视化和感知增强进行统一管理。鉴于本文聚焦系统层面,以下小节将概述这些跨领域子系统的软件架构、抽象层和集成接口,包括空间音频、力反馈和运动提示等;其领域特定的数学建模与验证则在配套工作中讨论。

CARLAverse工具库

SetupManager:负责虚拟环境的生命周期管理,包括世界状态管理,以及在分布式网络中安全生成和销毁参与者。

SharedMemory:负责CARLAverse各模块之间的进程间通信,用于传递必须绕过CARLA服务器的状态变量。

车辆物理与控制:提供标准化封装,用于提取速度、发动机转速和轴距尺寸等对延迟敏感的遥测数据,并无缝管理车辆灯光、转向信号等执行器指令。

Utilities:一套旨在简化参与者与传感器管理的辅助函数,包括用于获取特定参与者的故障安全机制、确保传感器唯一生成以避免重复数据流或API崩溃的机制,以及运行时的稳健错误处理。

CARLAverse软件工具与模块化仿真组件

快速原型开发与基于YAML的编排

定制仿真软件经常存在硬件映射耦合过紧的问题:从基础桌面配置切换到高保真运动平台,往往需要大幅修改源代码。为解决这一问题,CARLAverse遵循关注点分离原则,采用“单一事实来源”架构。控制、力反馈和可视化等可执行模块从根本上与硬件无关。相反,每个仿真节点的实例化完全由一份完整的YAML配置文件控制,从而能够在多个领域快速制作原型并高效重新配置系统。

此外,严格的实验可复现性是行为研究和人因研究的基本要求。研究人员将这份核心YAML配置文件与实验rosbag数据日志一同归档后,即可确保具体的硬件状态、物理模型、环境配置和控制映射得到准确保存,并在实验结束很久之后仍能保持一致地重建。

空间音频渲染

地理空间声音生成:引擎从当前OpenDRIVE地图和Unreal Engine环境中提取元数据,生成具备环境感知能力的背景声音。例如,系统会计算与虚拟植被的距离以生成风吹树叶声,或计算与水体的距离以生成海洋声效。

动态声源:施工噪声、警笛声以及周围AI交通参与者的轮胎—路面摩擦声等局部事件,会在三维空间中生成动态音频声源。

客户端专属渲染:中央服务器计算所有声源的空间坐标,并将其传输至对应的本地节点。随后,每个仿真节点在本地完成音频混音与渲染。输出设备既可以是耳机等简单立体声系统,也可以是多声道系统。

尽管这种地理空间声音生成方式显著增强了沉浸感,但CARLAcoustics模块涉及的精细声学建模、频率掩蔽和主观验证高度复杂,将在未来专门发表的论文中展开讨论。

CARLAverse中的空间音频与多模态显示配置

结论与未来工作

开发适用于城市环境的自动驾驶系统,需要深入了解混合交通的动态特性。人在环仿真器为研究此类交互提供了一种安全、可重复的方法,无需让参与者承担现实世界中的身体风险。然而,传统仿真系统的一个关键局限在于其运行上的相互隔离;研究混合交通的交互过程,根本上受益于多个真人参与者(包括脆弱道路使用者)之间的同步互动。

未来工作

尽管CARLAverse的基础架构已经成功实现并投入使用,但在未来的研究、验证和系统增强方面,仍有多个方向值得探索。

首先,脆弱道路使用者节点所采用的物理模型仍需通过实证研究加以验证。CycloCARLA中实现的自行车纵向动力学与力反馈已在一项专门研究中完成数学验证,相关成果即将发表。同样,CARLAcoustics模块中的空间音频传播与频率掩蔽算法也将在后续论文中接受评估,以量化其对参与者沉浸感和定位准确性的影响。

为进一步提升各仿真节点的物理沉浸感,多项硬件扩展目前正在开发中。对于自行车仿真器,研究团队正在搭建运动平台,用于模拟不平路面和坡度,同时开发专用风力模拟系统。与此同时,团队正在集成全向跑台,以支持行人节点实现自然且不受约束的运动。

提升视觉保真度与运行性能也是另一项重点工作。研究团队计划对当前的虚拟现实渲染管线开展严格评估,并将其与不同渲染方法进行系统比较。在此基础上,团队也在积极研究采用神经渲染技术替代默认CARLA渲染引擎的可能性,以实现更高水平的照片级真实感。

最后,秉持开放科学原则,尽管核心模块和工具已经公开可用,当前仍在持续完成系统集成,并发布CARLAverse框架的其余组件。通过向全球研究群体提供完整的硬件无关Python模块、YAML模板和同步脚本,作者希望降低沉浸式联网仿真研究的入门门槛,推动自动化移动领域的协作创新。

致谢

本研究在KIIWI项目(项目编号16DHBKI060)和Real2Sim项目(项目编号BW7_2199/2)中开展。前者由德国联邦研究、技术与空间部资助,后者由巴登—符腾堡州经济事务、劳动与旅游部资助。

在准备本文期间,作者使用Google Gemini进行语言编辑,并协助生成项目徽标等视觉素材。作者已对相关内容进行审阅和编辑,并对本文承担全部责任。

常见问题

什么是CARLAverse? CARLAverse是一个面向多模态、多智能体人在环仿真的分布式软硬件生态系统。

CARLAverse如何连接各仿真节点? 中央CARLA Unreal Engine服务器通过网络连接包括驾驶、自行车和行人配置在内的异构本地仿真节点。

CARLAverse如何支持仿真器的快速重新配置? 与硬件无关的可执行模块通过完整的YAML文件进行配置,由这些文件定义每个仿真节点。

未来计划开发哪些硬件? 计划开发的硬件包括自行车运动平台、专用风力模拟系统,以及用于行人仿真的全向跑台。