본 연구에서는 그리퍼가 닫히기 전에 곧 일어날 파지가 실패할 가능성을 예측하는 접촉 전 파지 모니터 ContactGuard를 제안한다. ContactGuard는 JEPA 방식의 잠재 세계 모델과 동결된 선형 실패 판별기를 결합한다. 세계 모델은 레이블이 없는 로봇 궤적을 바탕으로 행동 조건부 미래 잠재 표현을 예측하도록 학습하며, 판별기는 더 작은 규모의 레이블 파지 데이터셋을 사용해 접촉 이후 상태의 잠재 표현을 평가한다. 실제 운용 시에는 동결된 세계 모델과 판별기가 시각-운동 정책과 함께 실행되며, 계획된 행동 청크가 실패할 것으로 예측되면 실행을 중단한다.
먼저 세계 모델과 판별기에 사용되는 데이터를 정의한 뒤, LeWM 방식의 잠재 예측기와 다중 시점 구조, 실패 판별기, 온라인 접촉 전 모니터를 설명한다.
문제 설정과 데이터
ContactGuard는 레이블이 없는 잠재 동역학 학습과 소량의 결과 감독 학습을 분리한다. 세계 모델 데이터셋은 로봇 궤적으로 구성되며, 고정 카메라에서 동기화해 얻은 관측과 관절 공간 행동을 짝지어 사용한다. 세계 모델 학습에는 파지 성공 여부 레이블을 사용하지 않는다.
배경: LeWM 방식의 잠재 예측
예측기는 AdaLN-zero 변조를 통해 행동 정보를 조건으로 받는 인과 Transformer다. 무작위 투영에서 잠재 분포가 표준 가우시안과 일치하도록 유도하는 SIGReg 붕괴 방지 정규화 항과 다음 임베딩 회귀 손실을 사용해 학습한다.
본 연구에서는 이 인코더-예측기 인터페이스를 재사용하되, 다중 시점 관측과 행동에 맞춰 정렬된 예측 구간, 그리고 후속 접촉 전 실패 판독에 맞게 구조를 조정했다.
실험 결과
ContactGuard는 시각적 기하 구조가 복잡하고 가림과 물체 편차가 존재하며, 그리퍼가 닫히기 전 엄격한 실시간 제약을 만족해야 하는 대표적인 단기 임박 접촉 사건인 파지 종료 동작에 적용했다. 기반 청크형 시각-운동 정책으로 ACT를 사용해 네 가지 파지 설정을 평가했다. 모든 지표는 트리거 자체나 중단 후 복구가 아니라, 접촉 직전 트리거된 상태에서 예측기가 내린 결정을 평가한다.
실험에서는 다음 네 가지 질문을 살펴본다.
예측 품질
예측된 미래 잠재 표현이 단일 시점 세계 모델, 현재 상태 모니터링, 기존의 런타임 실패 감지기보다 실행 결과를 더 잘 예측할 수 있는가?
정보의 출처
이 신호는 현재 관측이나 시각적 지름길, 일반적인 움직임 단서가 아니라 구체적으로 제안된 행동이 초래할 결과를 상상한 데서 비롯되는가?
로봇 상태 융합
고유수용감각 상태를 추가하면 파지와 관련된 잠재 표현 예측이 향상되는가?
실행 시간
그리퍼가 닫히기 전 접촉 직전 구간에 예측을 수행할 만큼 충분히 빠른가?
폐루프 파지 결과 예측
폐루프 지표는 실제 로봇 실행에서 수집했으며, 세계 모델과 판별기, 작업별 임계값은 사전에 동결했다. 이후의 모든 진단 표는 별도로 확보한 오프라인 재생 검증 분할을 사용한다.
다중 시점과 단일 시점 비교
네 가지 작업 모두에서 다중 시점 융합은 단일 시점 LeWM 기준선보다 균형 정확도와 AUC를 모두 높였다. Towel에서 향상 폭이 가장 컸다. 어느 한 시점에서든 그리퍼와 천이 접촉하는 영역이 자주 가려지기 때문이다. 반면 Box에서는 단일 시점 기준선의 성능이 이미 높아 향상 폭이 가장 작았다.
Pencil은 우리 모델의 절대 AUC가 가장 낮게 나타났다. 학습 궤적이 좁은 범위의 파지 자세에만 집중되어 추가 시점이 제공할 수 있는 개선 여지가 작았던 결과와 일치한다.
결론, 한계 및 향후 연구
본 연구에서는 접촉 전 조작을 위한 실시간·정책 비종속적 예측 검증기 ContactGuard를 제시했다. 독립적으로 학습된 행동 조건부 잠재 세계 모델은 변경되지 않은 시각-운동 정책이 제안한 구체적인 행동 청크를 평가하고, 가벼운 실패 판별기를 통해 예측된 접촉 후 결과를 점수화한다.
실제 환경의 네 가지 파지 설정에서 ContactGuard는 현재 상태만 모니터링하는 비교 대상과 실험에 포함된 외부 런타임 실패 감지기를 앞섰다. 관측을 고정한 채 제안된 행동만 바꾸어도 예측 실패 확률이 크게 달라졌으며, 이는 모니터가 정적인 시각적 위험만이 아니라 곧 실행될 행동에도 반응한다는 점을 확인해 준다.
이 결과는 장면을 바꾸는 접촉이 일어나기 전에 실패 가능성이 높은 행동을 거부하는 실용적 기반으로서, 행동 조건부 잠재 상상이 유효함을 보여준다.
한계
ContactGuard는 실행을 보류해 실패를 예방하지만, 실패 후 복구하거나 중단된 뒤 작업을 완수하지는 못한다. 중단 후 작업 완료를 위해서는 외부 복구 모듈이 필요하며, 이는 향후 과제로 남겨 둔다.
ContactGuard는 다음 행동 청크 안에서 결과가 결정되는 임박한 접촉 사건을 대상으로 한다. 더 긴 시간 범위의 기술로 확장하려면 계층적 모니터링이나 사건 단위의 반복 모니터링이 필요하다.
향후 연구
향후에는 중단 후 새로운 행동 청크를 선택하거나, 보존된 장면을 바탕으로 재계획하거나, Diffusion·Flow Matching·Streaming 정책과 같은 다중 샘플링 정책에 모니터를 결합함으로써 중단 이후에도 폐루프를 이어갈 수 있다.
자주 묻는 질문
ContactGuard는 무엇을 예측하나요? 그리퍼가 닫히기 전에 곧 일어날 파지가 실패할 가능성을 예측한다.
잠재 세계 모델은 어떻게 학습하나요? 파지 성공 여부 레이블 없이, 레이블이 없는 로봇 궤적에서 행동 조건부 미래 잠재 표현을 예측하도록 학습한다.
계획한 파지가 실패할 것으로 예측되면 어떻게 되나요? 모니터가 계획된 행동 청크의 실행을 중단한다.
중단 후 ContactGuard가 복구할 수 있나요? 아니요. 중단 후 작업을 완료하려면 외부 복구 모듈이 필요하다.