我们首次系统研究了利用视觉-语言-动作模型（VLAs）进行真实规模的双臂家具组装。我们构建了一个可扩展的模拟管道和VR遥操作系统用于大规模数据收集，提出了一种进度增强型VLA以改善长程执行，并对VLA设计因素进行了聚焦研究以提升组装精度。这项工作标志着向在具有挑战性的真实世界操作任务中部署VLA迈出了一步。
双臂家具组装任务
硬件设置。 组装在桌面上进行，使用两只Kinova Gen3 7自由度机械臂，左臂配备Robotiq Hand-E夹爪，右臂配备Robotiq 2F-85夹爪。除了先前VLA研究中常用的前置和腕部摄像头外，我们增加了一个后置摄像头以提供互补视角，因为大型家具部件和频繁的双臂交互往往遮挡了正面观察。
任务属性。 我们使用三个难度递增的宜家物品研究真实规模的双臂家具组装：LACK边桌、KALLAX搁架和IVAR椅子。我们定义了子任务分解及其对应的语言指令，这些指令简洁、描述性强且语义明确。我们的任务具有以下挑战性属性：
- 长程执行。 每次组装需要完成严格的子任务序列，周期从4个（LACK, KALLAX）到7个（IVAR），控制步数650–1550步（65–155秒），超越了之前的基准。
- 高精度插入。 每个子任务需要在严格的平移和旋转阈值下实现配合部件之间的精确对齐，比之前的玩具级组装基准更加严格。
- 多样化操作技能。 每个子任务由结构化的语言指令指定（例如，“抓取、对齐并插入一个部件”），需要组合多种操作技能，如抓取、对齐、插入、提升和旋转。一个简单的组装（LACK有4个子任务）涉及大约12次技能执行，而更复杂的组装如IVAR可能涉及25次技能，由于更长的周期和额外的双臂操作。
- 双臂协调。 几个子任务需要双臂协同操作大型、重型部件。例如，安装KALLAX顶板需要同时用双臂提升、旋转和对齐一个全宽面板。这些双臂子任务涉及多达四个连续的动作基元，并且必须始终保持可达性并避免奇异性。
通过VR遥操作进行真实世界数据收集
为支持真实世界部署，我们开发了一个VR遥操作系统用于高质量示教收集，使得单个遥操作员能够在Kinova Gen3平台上实现协调的双臂控制。鉴于长程、高精度双臂组装的复杂性，我们采用以下设计原则：
- 解耦的平移和旋转控制。 三个平移轴同时控制以实现平滑的末端执行器运动，而旋转则独立处理以提高稳定性和精度。这对于精确的插入子任务（例如IVAR中对齐导轨）至关重要。
- 预定义的抓取基元。 我们定义了一组抓取姿态，并带有离散的方向变体，通过按钮输入触发。激活后，末端执行器方向会瞬时切换至预设值，同时保持当前位置，从而省去手动腕部旋转，并强制执行一致且任务特定的配置。
- 同步双臂控制。 我们引入了一种同步模式，在该模式下两只手臂同时执行镜像命令，从而实现大型、重型家具部件的高效重新定位、对齐和旋转。
模拟实验
我们研究了：1）进度增强型VLA如何改善长程执行；2）关键感知和控制设计因素如何影响组装精度和成功率；3）我们设计选择的消融实验。
实现细节
模拟。 我们使用Isaac Gym，扩展了FurnitureBench代码库，家具3D模型来自3D Warehouse，纹理来自ambientCG，资源在Blender 5.0中进行后处理。
训练与推理。 我们使用基于[32]的VLA骨干网络，在8块NVIDIA L40S GPU上微调40,000步，全局批量大小为64。推理在单块L40S GPU上使用标准推理参数进行。
长程组装性能
设置。 我们为每种家具生成500个示教用于微调，并对每种家具评估100次 rollout，训练一个跨所有家具类型的单一VLA模型。
评估指标。 我们报告完整组装的成功率（即完成所有子任务）。如果任何前置子任务失败，rollout终止，导致成功跨子任务单调递减。
真实世界实验
我们在真实的双臂Kinova Gen3平台上验证了我们的方法，测试了最具挑战性的IVAR椅子。
实现细节
我们使用Quest2ROS将VR控制器姿态和输入映射到机器人末端执行器命令。在部件上放置彩色标记（例如黑色和蓝色胶带），以帮助遥操作员在示教收集期间进行视觉对齐。对于收集的遥操作示教，我们按照DROID过滤无操作动作，但不去除每个非空闲片段的初始和结束帧，因为它们包含指示子任务完成的关键信号。
各部件组装性能
设置与评估。 我们独立评估每个子任务。我们将机器人和场景初始化到相应的中间组装状态，每个子任务运行15次 rollout。
结果。 各部件的成功率始终高于完整组装成功率，确认失败是跨子任务累积的，而非源于任何单一灾难性故障模式。子任务5由于高精度要求仍然最具挑战性。
结论与讨论
我们提出了FurnitureVLA，这是首次利用VLA进行真实规模双臂家具组装的系统研究。我们构建了一个可扩展的模拟管道和VR遥操作系统用于大规模测试平台和数据收集，提出了一种进度增强型VLA以改善长程执行，并对VLA设计因素进行了聚焦研究以提升组装精度。我们将这项工作视为向在具有挑战性的真实世界操作任务中部署VLA迈出的一步。
局限性。 我们的固定基座设置将组装限制在机器人运动学工作空间内的家具；移动双臂平台可以处理更大的物品。我们还通过磁铁绕过了螺丝固定，扩展到工具使用仍然是一个开放挑战，需要显著更高的精度。
附录概述
本附录包括：1）构建模拟环境的额外细节，2）真实世界系统的细节，以及3）关于训练和结果细分的更多实验细节。
家具模型
所使用的宜家家具可在线购买。3D模型和纹理也公开可获取，以确保可重复性。使用的家具物品为： - LACK边桌（序列号：30449908） - KALLAX搁架（序列号：90301555） - IVAR椅子（序列号：90263902）
部件名称根据其在组装配置中相对于基础部件的空间位置手动定义。在模拟中，所有部件都被赋予松木密度，与实际宜家组件一致。
额外实验与细节
训练超参数。 我们使用标准超参数对VLA骨干网络进行完全微调。
模拟结果细分。 主要模拟表中的子任务成功率在完整结果细分中可视化。
常见问题解答
训练FurnitureVLA需要多少示教？ 我们为每种家具类型生成500个示教用于微调，并同时训练一个跨三种家具类型的单一VLA模型。
为什么IVAR椅子是最具挑战性的组装？ IVAR椅子需要7个子任务，涉及多达25次技能执行，包括双臂操作如协调提升和旋转部分组装的椅子框架。
VR遥操作系统如何实现单操作员双臂控制？ 该系统使用解耦的平移/旋转控制、预定义的抓取基元和同步模式，在该模式下双臂同时执行镜像命令，实现协调操作。
当前方法的主要局限性是什么？ 固定基座设置将组装限制在机器人运动学工作空间内的家具，并且系统通过磁铁绕过了螺丝固定，工具使用仍然是一个开放挑战。