RoboTTT将快速权重更新与慢速权重更新解耦：通过屏蔽选定时间步上的流匹配损失，这些时间步作为纯上下文，更新快速权重而不提供模仿目标。这种灵活性使RoboTTT能够从异构上下文（例如人类视频演示或机器人自身的次优轨迹）中学习。
局限性与结论
这项工作存在一些局限性。首先，扩展训练上下文长度会增加训练成本；未来的工作可以采用更新的TTT训练技术，如TNT。其次，虽然我们开发了一种将TTT集成到机器人基础模型中的原则性方法，但未来的工作可以探索针对机器人领域的TTT层目标（如视觉领域中所探索的）。最后，尽管RoboTTT显著提升了任务性能，但它并不能处理部署中遇到的所有失败模式；与强化学习相结合以直接优化任务成功率是一个自然的下一步。
部署细节
我们在YAM双臂桌面机器人上部署训练好的模型，该机器人配备四个RealSense D405摄像头（顶部、底部、左腕、右腕），传输480p RGB观测。推理在工作站上进行，配备NVIDIA RTX 5090 GPU，控制频率为30 Hz。
任务定义
所有任务通过特定于任务的评分标准，在[0, 1]的任务完成尺度上评分，详见下文。
小狗汽车
机器人组装模型车“小狗汽车”的黄色车顶和第一个轮子。它拿起车顶，将螺丝与车身上的孔对齐，然后放置车顶。接着抓住电钻，将其与车顶螺丝对齐并拧紧，然后将电钻交给右手。随后，机器人用一只手翻转车身，右手拿起一个轮子，将轮子插入车身。然后再次拿起电钻拧紧轮子，最后将电钻交给左手。
评分标准：拿起车顶得0.05分；将车顶放置在车身上得0.1分；将车顶螺丝正确插入车身得0.25分；拿起电钻得0.3分；电钻尖端接触螺丝得0.35分；车顶螺丝完全拧紧得0.45分；将电钻交给右手得0.5分；翻转车身并稳定得0.55分；拿起轮胎得0.6分；将轮胎插入车身得0.75分；拿起电钻得0.8分；电钻与轮子螺丝对齐并接触得0.85分；轮子完全拧紧得0.9分；将电钻交给左手得1.0分。轮子组装最多允许两次尝试。
齿轮机器人
机器人组装整个玩具模型“齿轮机器人”。它在底盘两侧各安装一个齿轮和两个轮子，翻转底盘两次使轴朝上。然后拿起红色“机器人头”并插入底盘。最后，拿起遥控器推动摇杆，使齿轮机器人移动。
评分标准：每次翻转底盘得+0.1分，每个齿轮或轮子安装得+0.1分，“机器人头”安装得+0.1分，成功使用遥控器得+0.1分。
实验详情
基线 对于GR00T N1.7和GR00T N1.7 Hist基线，我们使用官方实现，并扩展以支持GR00T N1.7 Hist的历史帧输入。对于GDN基线，我们将每个TTT层替换为Flash Linear Attention库中的Gated DeltaNet层，保持层布局、门控和参数数量与RoboTTT匹配。
评估 我们在YAM双臂桌面机器人上部署训练好的模型。为确保不同方法之间的初始条件相同，我们记录每个任务的初始物体位置，并在评估时复现。对于“小狗汽车”和“电路”任务，我们评估20次轨迹；对于“齿轮机器人”任务以及在一次性人类视频设置下的“电路”任务，由于评估时间显著更长，我们评估10次轨迹。
常见问题
RoboTTT如何在部署期间更新模型权重？ RoboTTT使用测试时训练（TTT）机制，对输入的上下文数据执行快速权重更新，与预训练的慢速更新解耦。这使得策略能够在不重新训练整个模型的情况下即时调整其行为。
实时运行RoboTTT需要什么硬件？ 该系统在工作站上运行，配备NVIDIA RTX 5090 GPU，在YAM双臂桌面机器人上以30 Hz的控制频率处理四个480p RGB摄像头流。
RoboTTT可以从哪些类型的上下文中学习？ RoboTTT可以通过屏蔽选定时间步上的流匹配损失，从异构上下文来源（包括人类视频演示和机器人自身的次优轨迹）中学习。
当前RoboTTT方法的主要局限性是什么？ 扩展训练上下文长度会增加训练成本，TTT层缺乏机器人特定的目标，并且该方法无法处理所有部署失败模式——这表明强化学习是一个互补的下一步。