Chronos Policy는 관측과 동작의 타이밍을 정책에 명시적으로 반영합니다. 각 관측에는 획득 시각이 연결되고, 각 예측 동작에는 실행해야 할 시각이 연결됩니다. 이 정책은 시간 인식 RoPE를 사용하는 확산 트랜스포머를 활용합니다. 시간 인식 RoPE는 토큰 임베딩을 변경하지 않고 어텐션을 통해 시간 정보를 반영합니다. 학습 중에는 타임스탬프를 보존한 채 관측과 동작의 타이밍도 다양하게 바꾸므로, 정책은 배포 시 마주칠 수 있는 타이밍 변화를 해석하는 법을 학습합니다.
방법
물리적 시간에 기반한 정책 정식화
각 관측이 해당 시각에 획득된다고 합시다. 주어진 요청 시각에 정책은 지정된 스텝 수의 동작 청크를 질의합니다. 동작 청크는 지연 시간 이후 시작해 지정된 동작 간격으로 이어집니다.
이 정식화는 타이밍 정보를 명시적으로 나타냅니다. 관측 간격은 관측 주기를 나타내고, 관측 시각과 동작 시각 사이의 간격은 측정 지연과 실행 지연을 나타내며, 동작 간격은 원하는 실행 빈도를 지정합니다. 다중 모달 센싱에서는 각 모달리티를 공통 샘플링 그리드에 맞추는 대신 자체 획득 시각을 유지합니다.
정책에서 물리적 시간 인코딩하기
정책 입력에 명시적인 타임스탬프가 주어지면 시간 정보는 네트워크에 여러 방식으로 입력될 수 있습니다. 한 가지 방법은 각 타임스탬프를 인코딩해 해당 토큰 임베딩에 직접 더하는 것으로, 이 경우 시간에 따라 토큰 표현이 달라집니다. 또 다른 방법은 토큰 임베딩을 그대로 두고 어텐션의 위치 인코딩에만 시간 정보를 사용하는 것입니다. 후자가 시간 변화에 대해 일관되게 더 강건하므로 Chronos Policy는 시간 인식 RoPE를 사용합니다.
모든 토큰에는 정책 요청 시각을 기준으로 한 물리적 타임스탬프가 할당됩니다. 이미지 패치는 해당 프레임의 획득 시각을 이어받고, 고유수용감각 및 힘/토크 토큰은 측정 시각을 사용하며, 동작 토큰은 질의된 실행 시각을 사용합니다. 관측 타임스탬프는 요청 시각을 기준으로 측정이 획득된 시점을 나타내며, 동작 타임스탬프는 요청된 실행 일정에 따라 미래의 시점을 나타냅니다. 모달리티 임베딩과 공간 임베딩은 계속해서 토큰 내용을 나타내며, 물리적 시간은 회전 위치 인코딩을 통해 별도로 반영됩니다.
모든 타임스탬프는 정책 요청 시각을 기준으로 표현됩니다. 동작 토큰의 경우, 추론 지연으로 인해 질의되는 동작 시각이 미래로 이동합니다. 회전 좌표는 요청 시각을 기준으로 한 타임스탬프이며, 이에 따른 쿼리와 키의 상호작용은 경과한 물리적 시간에만 좌우됩니다.
따라서 어텐션은 경과한 물리적 시간에 직접 의존합니다. 서로 20 ms와 200 ms 간격으로 떨어진 두 관측은 시퀀스에서 같은 위치에 있더라도 서로 다른 시간 관계를 갖습니다. 동시에 모든 타임스탬프를 같은 양만큼 이동해도 표현은 바뀌지 않습니다. 시간 정보를 토큰 임베딩에 직접 더하는 방식과 비교하면, 시간 인식 RoPE는 토큰 내용과 타이밍을 분리하면서 어텐션에서 쌍별 시간 관계를 명시적으로 나타냅니다.
실험
실험은 세 가지 질문을 다룹니다. 시간 정보는 언제 유용한가? 시간 인식 정책의 어떤 요소가 중요한가? 타이밍의 중요성이 상대적으로 낮은 과제에서 시간 정보를 추가하면 성능이 저하되는가? 평가는 동작이 환경의 시간에 따른 변화에 좌우되는 동적 과제, 관측 간 타이밍이 중요한 다중감각 과제, 그리고 배포 시 타이밍 변화에 대한 강건성을 높이면서 Chronos Policy가 기준 성능을 유지하는지 확인하기 위한 표준 준정적 조작 과제를 대상으로 합니다.
과제 및 평가 설정
평가는 세 유형의 과제를 대상으로 합니다. Conveyor는 벨트 속도를 무작위화하는 동적 픽앤플레이스 과제로, 정책은 물체의 움직임과 센싱부터 동작 실행까지의 시간을 고려해야 합니다. Pivoting은 서로 다른 주기와 시각에 획득한 시각, 고유수용감각, 힘/토크 측정값을 결합하는 접촉이 중요한 다중감각 과제입니다. 표준 준정적 조작 과제 6개는 타이밍이 덜 중요한 상황에서 명시적인 시간 모델링으로 성능을 유지할 수 있는지 평가합니다.
각 정책은 서로 다른 타이밍 조건에서 평가됩니다. 기준 조건은 학습 중 관측한 타이밍을 사용합니다. 센싱 주기와 지연을 바꿔 관측 타이밍을 변화시키고, 예측된 동작이 실행되기 전의 지연을 바꿔 추론 지연을 변화시킵니다. 결합 조건에서는 관측 타이밍과 추론 지연을 모두 변화시켜 시간 불일치에 대한 강건성을 더 엄격하게 평가합니다.
시간 정보는 언제 유용한가?
Conveyor에서 Chronos Policy는 기준 성공률을 73.1%에서 82.0%로 높입니다. 배포 타이밍이 달라지면 성능 차이는 더 커집니다. 관측 타이밍을 중간 수준으로 변화시켰을 때 Diffusion Policy의 성공률은 15.6%로 떨어지는 반면, Chronos Policy는 77.6%를 유지합니다. 최대 200 ms의 추론 지연을 적용하면 Diffusion Policy의 성공률은 1.8%로 하락하지만 Chronos Policy는 76.4%를 기록합니다. 두 가지 변형을 결합한 경우에도 Chronos Policy는 성공률 32.7%를 유지하지만 Diffusion Policy는 완전히 실패합니다.
관측 간격이 달라지면 시퀀스 순서만으로는 물체의 움직임을 파악하기에 충분하지 않습니다. 실행이 지연될 때 얼마나 앞서 동작해야 하는지도 시퀀스 순서만으로는 알 수 없습니다. 관측 시각과 동작 시각을 모두 제공하면 정책은 이러한 변화를 직접 해석할 수 있습니다.
정책에 시간 정보를 반영하려면 무엇이 필요한가?
실험에서는 Chronos Policy의 두 가지 설계 선택, 즉 학습 중 시간 변화와 트랜스포머에서 물리적 시간을 표현하는 방식을 제거해 성능을 비교합니다.
시간 무작위화는 정책이 배포 중 마주칠 수 있는 다양한 센싱 및 실행 일정을 경험하게 합니다. 또한 시연 데이터를 고정된 시간 그리드에 맞춰 다운샘플링할 때 버려질 측정값도 학습에 활용할 수 있습니다. 이렇게 추가된 다양성은 데이터 증강 역할을 할 수 있습니다. Conveyor에서 시간 무작위화만으로도 Diffusion Policy의 다섯 가지 변형 조건 평균 성공률이 6.3%에서 26.9%로 높아집니다. 타임스탬프가 없더라도, 관련 타이밍 구조가 비교적 단순한 경우에는 정책이 더 다양한 시간 변화를 경험하는 것만으로 강건성이 향상될 수 있습니다.
하지만 같은 전략은 다중감각 과제인 Pivoting으로 일반화되지 않습니다. 이 과제에서는 시간 무작위화로 인해 변형 조건 평균 성능이 48.4%에서 21.6%로 낮아집니다. 타임스탬프가 없으면 정책은 각 샘플 이력을 어떤 타이밍이 만들어냈는지 알 수 없습니다. 같은 시퀀스 위치가 서로 다른 물리적 시간 간격을 나타낼 수 있고, 서로 다른 모달리티에서 비동기적으로 얻은 측정값을 해석하기 어려워집니다.
물리적 시간을 명시하면 시간 무작위화는 일관되게 유용해집니다. Conveyor에서는 변형 조건 평균이 48.8%에서 63.1%로, Pivoting에서는 33.3%에서 55.3%로 높아집니다. 시간 무작위화는 학습 분포를 넓히고, 타임스탬프는 그 변화를 해석 가능하게 합니다.
시간 정보가 표준 준정적 조작에 악영향을 주는가?
표준 준정적 조작 과제 6개는 정밀한 타이밍이 덜 중요한 상황을 평가합니다. 기준 타이밍 조건에서 Chronos Policy와 Diffusion Policy는 비슷한 성능을 보여, 시간을 명시적으로 모델링해도 성능이 저하되지 않음을 확인합니다.
배포 타이밍이 학습 때와 다르면 이점이 분명해집니다. 다섯 가지 변형 조건의 평균 성공률은 Diffusion Policy의 59.7%에서 Chronos Policy의 73.4%로 높아지며, 센싱 변화 폭이 큰 조건과 변형을 결합한 조건에서 가장 큰 향상을 보입니다.
종합하면 Chronos Policy는 기준 성능을 유지하면서 시간 불일치에 대한 강건성을 크게 높입니다. 타이밍이 학습 설정과 비슷할 때 명시적인 시간 정보는 성능을 저하시키지 않습니다. 센싱이나 추론 타이밍이 달라질 때는 기준 정책에 없는 관측 및 동작 타이밍 정보를 정책에 제공합니다.
시간 인식은 실제 환경에서의 강건성을 높이는가?
Chronos Policy는 평가한 세 가지 실제 환경 과제의 모든 조건에서 가장 높은 과제 점수를 기록합니다. 관측 변형, 추론 지연, 두 요인의 결합에서도 우위가 유지되어, 명시적인 시간 정보의 이점이 통제된 시뮬레이션을 넘어선다는 것을 보여줍니다. 움직이는 목표물 조작과 접촉이 중요한 조작 모두에서 성능이 향상되어, 동일한 물리적 시간 인터페이스가 서로 다른 시간 변화 요인을 다룰 수 있음을 시사합니다.
RTC는 여러 설정에서 추론 지연에 대한 강건성을 높입니다. 그러나 관측 타이밍의 변화를 명시적으로 고려하지 않으므로 센싱 변형에서도 그 이점이 일관되게 나타나지는 않습니다. Chronos Policy는 각 관측이 획득된 시점과 각 예측 동작이 실행되어야 할 시점을 모두 표현하므로, 하나의 정책 아키텍처 안에서 센싱 및 실행 타이밍을 모델링할 수 있습니다. 이러한 결과는 비동기 실행과 명시적인 시간 인식이 시간 불일치의 상호 보완적인 측면을 다룬다는 점을 시사합니다.
결론 및 향후 연구
Chronos Policy는 관측이 획득된 시점과 동작을 실행해야 할 시점에 따라 조건화함으로써 로봇 정책 학습을 물리적 시간에 기반하게 합니다. 이 정식화는 하나의 정책에서 센싱 주기, 측정 지연, 추론 지연을 통합해 표현합니다. 시뮬레이션과 실제 로봇에서 수행한 동적, 다중감각, 표준 준정적 조작 과제 전반에서 Chronos Policy는 기준 성능을 유지하면서 시간 불일치에 대한 강건성을 높입니다.
향후 연구 방향으로는 Chronos 정책을 고정 동작 주기에서 가변 제어 주파수와 시간 스케일링으로 확장할 수 있습니다. 이를 통해 로봇은 시연과 같은 행동을 더 빠르거나 느리게 수행할 수 있습니다.
감사의 글
저자들은 유익한 논의와 피드백을 제공한 Stanford의 REALab 구성원 모두에게 감사드립니다. 본 연구는 Knight-Hennessy Fellowship, NSF Graduate Research Fellowships Program (GRFP), NSF Awards #2143601, #2037101, and #2132519, Samsung, Stanford HAI Center의 지원을 일부 받아 수행되었습니다. 본 논문의 견해와 결론은 저자들의 것이며, 표현되었거나 암시되었는지와 관계없이 후원 기관의 공식 정책을 반드시 대변하는 것으로 해석해서는 안 됩니다.
부록: 정책 아키텍처 및 평가 세부 사항
정책 아키텍처 및 입력 표현
Conveyor와 표준 과제 6개는 카메라별 이미지 관측 2개와 고유수용감각 관측 2개를 사용합니다. 시뮬레이션 Pivoting은 이미지 2개, 포즈 관측 3개, 6차원 힘/토크 샘플 32개를 사용합니다. 포즈는 위치와 6D 회전으로 표현합니다.
Pivoting은 기준 포즈, 가상 목표 포즈, 강성을 포함하는 19차원 적응형 컴플라이언스 동작을 예측합니다. 모든 방법에서 같은 제어기와 동작 표현을 사용합니다. 다른 시뮬레이션 과제에서는 절대 포즈와 그리퍼 또는 핸드 명령을 사용합니다. 모든 정책은 20 Hz에서 동작 16개를 예측합니다.
기준선 및 시간 인식 변형
트랜스포머 기반 기준선은 관측 또는 동작 타임스탬프 없이 시퀀스 위치를 사용합니다. 이 기준선의 시간 무작위화 변형은 Chronos Policy와 같은 무작위 관측 일정과 동작 시작 지연을 사용하지만, 물리적 시간 정보는 입력받지 않습니다.
체크포인트 선택 및 평가 설정
정책별로 시드 3개를 사용해 학습합니다. 체크포인트는 5에포크마다 기준 검증 설정에서 평가하며, 기준 성공률이 가장 높은 체크포인트를 선택합니다. DexMimicGen 벤치마크에서는 원 논문의 평가 설정에 따라 학습 시드당 에피소드 50개를 평가합니다.
Conveyor 및 Pivoting 제거 실험에서는 선택한 각 학습 체크포인트를 평가 시드 3개로 평가하며, 시드 및 조건별 에피소드는 50개입니다. 먼저 학습 시드별로 평가 시드 3개의 결과를 평균한 뒤, 학습 시드 3개 전체의 평균과 표본 표준편차를 보고합니다. 따라서 방법 및 조건별 총 에피소드 수는 450개입니다.
시간 설정
모든 과제는 100 Hz 원본 데이터셋을 사용하며, 센서 스트림별로 관측 주기 12.5–33.33 Hz와 전달 지연 0–50 ms를 독립적으로 샘플링합니다. Pivoting의 경우 힘/토크는 1–100 Hz로 샘플링하고 전달 지연은 0–100 ms로 설정합니다. 동작 청크의 절반은 지연 없이 시작하며, 나머지는 최대 100 ms의 시작 지연을 샘플링합니다.
동적 및 다중감각 과제: 전체 제거 실험
Conveyor에서 Diffusion Policy에 시간 무작위화를 추가하면 여러 변형 조건에서 성능이 크게 향상됩니다. 관측 변화 폭이 작은 조건에서는 성공률이 15.6%에서 60.9%로, 지연이 최대 100 ms인 조건에서는 14.2%에서 47.3%로 높아집니다. 이는 정책이 더 넓은 범위의 관측 및 실행 일정을 경험하는 것 자체가 유용한 데이터 증강이 될 수 있음을 시사합니다.
하지만 더 심한 변화에는 이점이 일관되게 이어지지 않습니다. 센싱 변화 폭이 큰 조건에서는 성공률이 0.0%에서 6.4%로만 높아지며, 결합 조건에서는 두 변형 모두 거의 0에 머뭅니다. 또한 시간 무작위화는 기준 Conveyor 성능을 73.1%에서 53.6%로 낮춥니다. 타이밍 변화를 도입하면서 각 샘플의 타이밍을 정책에 알려주지 않을 때 발생하는 절충을 보여주는 결과입니다.
이러한 한계는 Pivoting에서 더 두드러집니다. Diffusion Policy에 시간 무작위화를 추가하면 기준 성공률이 61.6%에서 29.8%로 낮아지는 것을 포함해 모든 조건의 성능이 저하됩니다. Conveyor와 달리 Pivoting에서는 서로 다른 시각에 샘플링된 시각, 고유수용감각, 힘/토크 측정값을 서로 연관 지어야 합니다. 일정이 무작위화되었지만 타임스탬프가 숨겨져 있으면 같은 토큰 위치가 서로 다른 모달리티 간 시간 오프셋에 해당할 수 있습니다. 따라서 추가된 다양성은 정책이 해소할 수 없는 모호성도 함께 만듭니다.
실제 환경 과제 설정 및 시연 데이터
실제 환경 평가는 Dynamic Cup, Peg Insertion, Pivoting을 대상으로 합니다. Dynamic Cup은 받침 접시의 속도, 위치, 회전 방향을 달리해 평가합니다. Peg Insertion은 두 가지 구멍 방향인 정방향과 역방향 각각에서 5회 시행합니다. Pivoting은 큰 지우개, 작은 지우개, 상자, 옆으로 놓인 설정의 네 가지 조건에서 각각 5회 시행합니다.
모든 과제는 RGB 관측 2개와 상대 포즈 이력 및 측정된 그리퍼 폭 이력을 함께 사용하며, 기준 주기는 20 Hz입니다. 제공된 논문 텍스트는 Peg Insertion과 Pivoting에서 추가로 “3”을 사용한다고 밝힌 뒤 문장 중간에서 끝납니다.
자주 묻는 질문
Chronos Policy는 로봇 정책 입력에 무엇을 추가하나요? 관측에는 획득 시각을, 예측 동작에는 의도된 실행 시각을 연결합니다.
Chronos Policy는 물리적 시간을 어떻게 표현하나요? 어텐션에서 시간 인식 RoPE를 사용해 토큰 임베딩은 바꾸지 않으면서 경과한 물리적 시간을 명시적으로 나타냅니다.
관측 시점이 무작위화될 때 타임스탬프가 유용한 이유는 무엇인가요? 타임스탬프를 사용하면 시퀀스 위치를 고정된 시간 간격으로 간주하지 않고, 다양한 관측 일정과 비동기 측정값을 해석할 수 있습니다.
명시적인 시간 모델링은 기준 과제 성능을 낮추나요? 보고된 준정적 조작 결과에서 기준 성능은 Diffusion Policy와 비슷하며, 배포 타이밍이 달라질 때 Chronos Policy가 더 높은 강건성을 보입니다.