视觉模型能够根据球员移动视角拍摄的视频，估计网球的位置、追踪球员，并预测下一次击球。这项研究比较了图像、视频和视觉语言模型在七项感知与预测任务中的表现，随后利用视觉估计生成全身动作——这是对视觉人工智能如何帮助机器人应对快速变化环境的一次早期测试。
目录
研究人员构建了什么？
研究人员搭建了一套研究框架，用于训练和测试视觉模型处理从球员视角拍摄的网球视频。数据集配对了第一人称视频——由随球员移动的摄像机拍摄的视频——以及外部视角视频，即由球场周围摄像机拍摄的画面。外部视角提供球员和网球位置的更广阔参照，而可穿戴摄像机视角则记录了机器人在移动和执行动作时可能看到的内容。
团队利用可见的同步信号对齐录像：球员在每次拍摄开始和结束时击掌。他们还对摄像机进行了标定，使图像中的位置能够对应到球场和实际空间位置。标注信息包括网球位置、球员位置，以及球员下一次击球是正手还是反手。球员视角中网球位置的标注覆盖了 97.4% 的帧；其余帧中网球被遮挡。
这项研究测试了多种预训练视觉模型，包括图像编码器、视频编码器和视觉语言模型（VLM）。研究不止于评估预测结果：研究人员还利用视觉估计作为条件，输入一个生成全身动作的系统。
实验结果如何？
主要结果是，没有哪一种模型家族能在所有任务中脱颖而出，成为通用答案。图像编码器和视觉语言模型整体表现都具有竞争力，但它们各自的优势会随系统需要感知或预测的内容而变化。这对机器人设计者很重要：为某项技能（例如定位网球）选定的模型，并不代表它预测球员下一步动作时也会表现最佳。
这项研究考察了七项动态网球视频中的空间理解与预判任务。一项实际发现是，加入深度信息能显著提升网球定位效果。换句话说，与单靠视觉外观相比，将外观信息与距离信息结合起来，更有利于确定网球的位置。
更多视觉历史并不必然带来更好的效果。通过改变输入帧数量和帧间距进行的实验发现，更长的历史信息并不能持续改善对网球未来位置的预测。数据集中 97.4% 的网球标注覆盖率，衡量的是标注的可用程度，而不是模型的预测准确率。提供的结果没有列出各项任务的误差分数或详细的模型正面对比差距，因此无法准确给出模型的数值排名。关键在于不同模型类型的比较，以及深度信息和历史帧带来的具体影响，而不是某个单一的准确率数字。
视觉到动作的流程如何运作？
系统首先使用预训练视觉编码器：这种模型会将图像或视频转换成一系列数值特征。研究人员测试了基于图像、视频和视觉语言的编码器，以评估它们已有的视觉表征对于网球任务有多大用处。他们没有从头开始重新训练每个编码器，而是在其输出上接入小型预测头。这些预测头读取编码器提取的特征，并生成针对特定任务的估计结果。
每个预测头都会使用可学习查询——对模型需要生成的输出进行紧凑表征——来关注编码器的词元。词元是表示输入不同部分的特征单元，例如图像块，以及 VLM 中与语言相关的特征。随后，一个两层神经网络会将关注到的信息转换为预测结果。各预测头共同训练，并共享一个位置嵌入，帮助系统追踪特征的来源位置。位置等连续变量使用 L2 损失，击球类别则使用交叉熵损失。
对于网球未来位置预测，团队改变了模型接收的视频历史长度和帧间距。历史帧实验包括 SigLIP 2 和 V-JEPA 2。由于 V-JEPA 2 的视频处理需要至少两帧组成的帧组，因此研究没有测试它的单帧输入表现。
最后，研究人员将视觉估计输入条件运动扩散系统。扩散是一种逐步优化动作序列的生成过程，使生成的动作符合给定条件。此处的条件信息来自对网球场景的估计。这一方法将感知与预测连接到可能的动作输出，但实验展示的是生成动作，并未让机器人实际打网球。
这对机器人技术为何重要？
许多机器人需要根据随机器人移动的摄像机画面做出决策，而不是依靠固定的俯视视角。移动机器人在转身、行走或伸手时，需要解读不断变化的图像。网球是这一挑战中要求格外严苛的测试：网球移动速度快，可能会离开视野，而且需要结合球员和球场的位置来理解。
这项研究为机器人开发者提供了一套结构化方法，用来判断视觉模型是否能做到不止是在静态图像中识别物体。它能否估计运动物体的位置？能否预测物体将移动到哪里？能否识别一个人即将采取什么动作？研究结果还表明，深度信息和输入历史长度是值得实际评估的设计选项，而不应想当然地认为帧数越多或模型越大，效果就一定越好。
动作生成环节指向一条从感知走向控制的长期路径：视觉估计可以为拟议动作提供依据，之后机器人控制系统可以执行并不断调整动作。这使得该研究与敏捷人形机器人有关，包括需要对移动中的物体或人员做出反应的系统。读者可以浏览 Robot Overflow 上的人形机器人。对于繁忙设施中的移动平台，包括仓储机器人，移动视角和及时响应也同样重要。
有哪些局限和未解问题？
网球是一项有价值的压力测试，但它只代表一种环境。这些结果并不能证明同样的模型或适配策略在接球、投掷、团队运动，或在快速移动的人群中导航时也同样有效。这些场景在物体外观、运动方式、遮挡情况以及机器人必须采取的动作方面都有差异。
报告中的实验也没有进一步展示由实体机器人控制真实比赛。根据视觉估计生成全身动作是迈向行动的一步，但并不能证明系统能够安全、可靠地实时控制。机器人还需要应对感知延迟、预测误差、平衡、接触力，以及与人共处时的安全问题。
最后，提供的结果没有列出各项任务或模型的详细数值评分。因此，仅凭这份摘要无法判断具体误差水平、比较模型间的差距，或评估某个模型究竟优于另一个模型多少。后续测试应报告这些分数，并检验该方法能否迁移到网球视频以外的场景。
读者最常问哪些问题？
这个系统能造出一台打网球的机器人吗？ 不能。它会根据网球视频进行预测，并展示生成的身体动作，但没有展示机器人实际打网球。
球员视角中有多少帧标注了网球？ 97.4% 的帧标注了网球的二维位置，其余帧中的网球被遮挡。
更长的视频历史能改善预测吗？ 不一定。实验表明，增加视觉历史信息不一定能提升对网球未来位置的预测。
什么因素最有助于定位网球？ 根据研究报告的结果，加入深度信息显著提升了定位效果。
核心结论是什么？
这项研究测试了视觉模型在移动摄像机视角下应对一系列相互关联挑战的能力：定位网球、理解球员状态，以及预测接下来会发生什么。研究发现，模型优势取决于具体任务；深度信息有助于提升定位效果；而更多视频历史并不必然更有用。
视觉引导的机器人接下来应该挑战哪种快速运动任务？