로보TTT는 빠른 가중치 업데이트와 느린 가중치 업데이트를 분리합니다. 선택된 타임스텝의 플로우 매칭 손실을 마스킹함으로써, 해당 타임스텝은 순수 컨텍스트 역할을 하며 모방 목표 없이 빠른 가중치만 업데이트합니다. 이러한 유연성 덕분에 로보TTT는 인간 시연 영상이나 로봇 자체의 최적이 아닌 롤아웃과 같은 이질적인 컨텍스트로부터 학습할 수 있습니다.
한계점 및 결론
이 연구에는 몇 가지 한계가 있습니다. 첫째, 훈련 컨텍스트 길이를 늘리면 훈련 비용이 증가합니다. 향후 연구에서는 TNT와 같은 최신 TTT 훈련 기법을 채택할 수 있습니다. 둘째, TTT를 로봇 기반 모델에 통합하는 원칙적인 방법을 개발했지만, 향후 연구에서는 TTT 계층을 위한 로봇 중심 목표(비전 분야에서 탐구된 바와 같이)를 탐구할 수 있습니다. 마지막으로, 로보TTT가 작업 성능을 크게 향상시키지만, 배포 중 발생하는 모든 실패 모드를 처리하지는 못합니다. 이를 강화 학습과 결합하여 작업 성공을 직접 최적화하는 것이 자연스러운 다음 단계입니다.
배포 세부 사항
훈련된 모델을 YAM 양팔 탁상 로봇에 배포하며, 4대의 RealSense D405 카메라(상단, 하단, 왼쪽 손목, 오른쪽 손목)가 480p RGB 관찰을 스트리밍합니다. 추론은 NVIDIA RTX 5090 GPU가 탑재된 워크스테이션에서 30Hz 제어 주파수로 실행됩니다.
작업 정의
모든 작업은 작업별 루브릭에 따라 [0, 1] 작업 완료 척도로 점수가 매겨집니다. 자세한 내용은 아래와 같습니다.
Pup Go Car
로봇이 모형 자동차 "Pup Go Car"의 노란색 지붕과 첫 번째 바퀴를 조립합니다. 지붕을 집어 들고, 나사를 차체 구멍에 맞춘 후 지붕을 내려놓습니다. 그런 다음 드릴을 잡고 지붕 나사에 맞춰 조인 후, 드릴을 오른손으로 넘깁니다. 다음으로 로봇은 한 손으로 차체를 뒤집고 오른손으로 바퀴를 집어 차체에 삽입합니다. 다시 드릴을 집어 바퀴를 조인 후, 마지막으로 드릴을 왼손으로 넘깁니다.
점수 루브릭: 지붕을 집으면 0.05점; 지붕을 차체에 내려놓으면 0.1점; 지붕 나사가 차체에 제대로 삽입되면 0.25점; 드릴을 집으면 0.3점; 드릴 끝이 나사에 닿으면 0.35점; 지붕 나사가 완전히 조여지면 0.45점; 드릴을 오른손으로 넘기면 0.5점; 차체가 뒤집혀 안정화되면 0.55점; 타이어를 집으면 0.6점; 타이어가 차체에 삽입되면 0.75점; 드릴을 집으면 0.8점; 드릴이 바퀴 나사에 맞춰 닿으면 0.85점; 바퀴가 완전히 조여지면 0.9점; 드릴을 왼손으로 넘기면 1.0점. 바퀴 조립은 최대 두 번 시도할 수 있습니다.
Gear Bot
로봇이 완구 모델 "Gear Bot" 전체를 조립합니다. 섀시 양쪽에 기어 하나와 바퀴 두 개를 설치하고, 섀시를 두 번 뒤집어 샤프트가 위를 향하도록 합니다. 그런 다음 빨간 "로봇 머리"를 집어 섀시에 삽입합니다. 마지막으로 리모컨을 집어 조이스틱을 밀어 Gear Bot이 움직이도록 합니다.
점수 루브릭: 섀시 뒤집기마다 +0.1점, 기어 또는 바퀴 설치마다 +0.1점, "로봇 머리" 설치마다 +0.1점, 리모컨을 성공적으로 사용하면 +0.1점.
실험 세부 사항
기준 모델 GR00T N1.7 및 GR00T N1.7 Hist. 기준 모델의 경우, 공식 구현을 사용하고 GR00T N1.7 Hist.의 기록 프레임 입력을 지원하도록 확장했습니다. GDN 기준 모델의 경우, 각 TTT 계층을 Flash Linear Attention 라이브러리의 Gated DeltaNet 계층으로 대체하고, 계층 배치, 게이팅 및 매개변수 수를 RoboTTT와 일치시켰습니다.
평가 훈련된 모델을 YAM 양팔 탁상 로봇에 배포합니다. 방법 간 동일한 초기 조건을 보장하기 위해 각 작업의 초기 물체 배치를 기록하고 평가 시 재현합니다. Pup Go Car 및 Circuit 작업은 20회 롤아웃, Gear Bot 작업과 원샷 인간 비디오 설정의 Circuit 작업은 평가 시간이 훨씬 길기 때문에 10회 롤아웃을 평가합니다.
자주 묻는 질문
RoboTTT는 배포 중에 모델 가중치를 어떻게 업데이트하나요? RoboTTT는 테스트 시간 훈련 메커니즘을 사용하여 들어오는 컨텍스트 데이터에 대해 빠른 가중치 업데이트를 수행하며, 이는 느린 사전 훈련 업데이트와 분리됩니다. 이를 통해 정책이 전체 모델을 재훈련하지 않고도 실시간으로 동작을 적응시킬 수 있습니다.
RoboTTT를 실시간으로 실행하는 데 필요한 하드웨어는 무엇인가요? 시스템은 NVIDIA RTX 5090 GPU가 탑재된 워크스테이션에서 실행되며, YAM 양팔 탁상 로봇에서 4대의 480p RGB 카메라 스트림을 30Hz 제어 주파수로 처리합니다.
RoboTTT는 어떤 유형의 컨텍스트로부터 학습할 수 있나요? RoboTTT는 선택된 타임스텝의 플로우 매칭 손실을 마스킹함으로써 인간 비디오 시연 및 로봇 자체의 최적이 아닌 롤아웃을 포함한 이질적인 컨텍스트 소스로부터 학습할 수 있습니다.
현재 RoboTTT 접근 방식의 주요 한계는 무엇인가요? 훈련 컨텍스트 길이를 늘리면 훈련 비용이 증가하고, TTT 계층에 로봇 특화 목표가 부족하며, 이 방법이 모든 배포 실패 모드를 처리하지 못하므로 강화 학습을 보완적인 다음 단계로 제안합니다.