东北大学的研究人员开发了JOIN，一个三阶段系统，使移动机器人能够自主连接到一个已握住物体的轮椅安装机械臂。在四项双臂任务的测试中，JOIN实现了95%的成功率，与全专家遥操作相当，同时相比任务无关的几何方法显著降低了操作员负担。
目录
研究人员构建了什么
JOIN是一个全栈系统，解决双臂连接问题：其中一只机械臂已经完成抓取（“锚点”），第二台移动机器人必须接近、定位并抓取同一或相关物体，以执行协作双手任务。系统分三个阶段运行。首先，补充机器人驱动至预定义的观察位姿，并使用视觉语言模型（Gemini Robotics-ER 1.6）根据用户指令和视觉场景理解任务。其次，它规划基座位置和夹爪朝向，以最大化对抗力闭合和方向可操作性——确保补充夹爪的抓取方向与锚点抓取的力方向相对，并且机器人能沿任务关键方向移动。第三，机器人导航至该位姿并执行抓取。
硬件平台将Kinova Gen3轮椅安装机械臂（锚点）与Hello Robot Stretch 3移动机械手（补充）配对。操作员参与仅限于自主预抓取阶段后的短暂抓取修正，之后两台机器人在遥操作下执行协作运动。JOIN在四项日常生活任务中进行了测试：提箱、开瓶、搅拌和倒水。
关键结果
JOIN在20次试验中成功19次（95%），而全专家遥操作为20/20，AnyGrasp任务无关基线为14/20（70%）。该系统生成的抓取提案所需的操作员修正显著少于基线，并且在分级指标上匹配遥操作质量。
| 方法 | 成功率 | 平均重抓次数（开瓶） | 平均溅出球数（倒水） |
|---|---|---|---|
| 全遥操作 | 100% (20/20) | 2.0 | 0.2 |
| JOIN | 95% (19/20) | 2.0 | 0.4 |
| AnyGrasp基线 | 70% (14/20) | 3.2 | 7.3 |
JOIN的抓取提案降低了操作员负担：在提箱任务中，总操作员修正时间（抓取调整+执行）明显短于基线，接近遥操作效率。开瓶方面，JOIN匹配了遥操作的2.0次重抓，而基线为3.2次。倒水方面，基线平均溅出7.3个球（包括一次掉落21个球），而JOIN仅溅出0.4个——几乎与遥操作的0.2个无异。
工作原理
JOIN将双臂连接分解为三个连续阶段，结合了高层推理与几何精度。
阶段1 – 规划： 补充机器人首先移动至预定义的观察位置。根据用户指令（例如“打开瓶子”）和场景的RGB-D图像，Gemini Robotics-ER 1.6识别任务相关物体并推断预期运动方向（例如扭转、提起、搅拌）。系统然后使用包含两个术语的评分函数评估候选基座位姿和夹爪朝向：对抗性衡量锚点现有抓取与候选抓取之间的力闭合质量——确保双臂能沿任务相关方向抵抗力。方向可操作性量化了补充机器人从该基座位姿沿所需运动方向产生速度的能力。选择得分最高的配置。
阶段2 – 驱动： 移动基座使用其机载传感器和局部规划器导航至选定位姿。系统使用Pinocchio进行运动学计算，不依赖VLM进行任何3D几何推理。
阶段3 – 抓取： 在目标位姿，补充机器人执行规划好的抓取。控制权随后交给遥操作员，后者可以进行小幅修正（平均少于10秒），然后两只手臂在遥操作下执行协作运动。
关键创新在于抓取和基座位姿是为任务而选择，而不仅仅是为了稳定拾取。这种从仅几何到任务感知规划的转变解释了与AnyGrasp基线之间的巨大性能差距。
为什么这对机器人学很重要
对于上肢活动受限的轮椅使用者，目前的单臂机器人系统（如Kinova JACO）可以抓取和取回物体，但无法执行需要双手的任务——如拿着瓶子时打开它、搅拌锅或搬运大箱子。JOIN使用户能够召唤第二台移动机器人，该机器人自主定位并提供缺失的协调。
实际好处显而易见：操作员的参与缩减为一次短暂的抓取修正和一次连续的遥操作运动，而整个预抓取推理、规划和导航均由系统自主处理。这使得辅助双臂操作更接近可行的日常助手，尤其是在家庭环境中，移动机器人可以单独存放并在需要时调用。
对于机器人工程师，JOIN的架构展示了语义推理（VLM）与几何计算（分析工具）之间的清晰分离——这种模式避免了依赖大型模型进行精确空间任务的常见陷阱。该问题形式化——"锚点抓取条件连接"——为制造、医疗和家用机器人等其他双臂场景提供了模板。关于当前硬件选项，可查看二手协作机器人，这些机器人可作为补充机器人。
局限性与待解决问题
评估是初步的：每个条件仅五次试验，单一环境（一间公寓），以及一名同时也是论文作者的专家遥操作员。未进行组件消融实验，因此不清楚每个评分项（对抗性、方向可操作性）是否单独必要。该系统仅处理单步连接——需要多次重抓或动态物体交接的任务未解决。观察位姿是手动选择的，而非优化，并且VLM推理限于已知物体和指令。未来工作应包含更大规模的用户研究、动态环境以及减少与遥操作速度差距的学习协调策略。
常见问题
什么是双臂连接？ 这是一种情况，其中一只机械臂已经握住一个物体，第二台移动机器人必须自主接近并抓取同一或相关物体，以执行协作双手任务。
JOIN与典型的机器人抓取系统有何不同？ 大多数抓取系统仅考虑几何稳定性（物体握持位置）。JOIN还考虑任务运动——它选择能够使双臂有效协同运动的抓取和基座位姿，例如扭转盖子或搅拌。
最重要的结果是什么？ JOIN在20次试验中成功19次（95%），几乎匹配完美的专家遥操作（20/20），并优于任务无关基线（14/20）。操作员修正时间大幅减少，任务质量（例如溅出球数更少）与人类遥操作相当。
JOIN今天能在真实家庭中使用吗？ 该系统已在单一公寓环境中对有限任务集进行了演示。虽然方法有前景，但尚未在多个用户、杂乱房间或动态障碍物下测试——因此在日常部署前还需要更多工程和用户研究。
结论
JOIN引入了一种将视觉语言推理与分析几何规划相结合的双臂连接原则性方法。通过将操作员负担从整个任务转移到短暂的抓取修正，它使辅助双臂机器人学更接近实际日常使用。该问题形式化和系统设计为未来在无障碍及其他领域的协作操作工作提供了坚实基础。
三年内，哪一项改进能使JOIN在杂乱厨房中可用？