한 수술 로봇이 미리 정해진 단계 레이블 대신 자동으로 감지한 희소 이벤트를 중심으로 긴 조작 작업을 조직하는 법을 학습했다. S2-HWM 시스템은 상위 관리자, 하위 제어기, 이벤트 전이 모델을 결합해 로봇이 접근, 파지, 운반, 정렬, 놓기 단계 전반에서 목표를 이어 가도록 한다. 이는 자율 수술 로봇 학습을 어렵게 만드는 지연 피드백 문제를 다루기 위한 접근이다.
목차
연구진은 무엇을 개발했나?
S2-HWM은 장기 수술 로봇 조작을 위한 계층형 세계 모델이다. 세계 모델은 학습된 시뮬레이터다. 로봇이나 환경에서 모든 행동을 직접 시험하는 대신, 로봇의 상황이 어떻게 변할지를 예측한다. ‘계층형’이라는 말은 시스템이 서로 다른 두 속도로 의사결정을 내린다는 뜻이다.
상위 관리자는 잠재 목표, 즉 로봇이 다음에 달성해야 할 일을 나타내는 내부 표현을 선택한다. 하위 작업자는 그 목표를 이루기 위해 개별 모터 동작을 선택한다. S2-HWM은 관리자가 일정한 스텝 수나 미리 정한 단계마다 갱신하도록 강제하지 않는다. 대신 로봇의 잠재 행동·상태 궤적에서 희소한 이벤트 신호를 학습한다.
이벤트는 파지를 완료했거나 운반을 끝내고 정렬로 넘어가야 하는 지점에 도달한 것처럼, 상호작용에서 일어난 중요한 변화를 나타낼 수 있다. 시스템은 ‘파지 완료’나 ‘놓기 단계’ 같은 의미론적 레이블을 받지 않는다. 대신 작업의 동역학을 바탕으로 유용한 갱신 시점을 찾아낸다.
연구진은 무작위화한 SurRoL 기반 PegTransfer 시뮬레이션에서 시스템을 평가했다. 로봇은 블록에 접근해 파지하고, 기하학적 제약을 따르며 이동한 뒤, 다른 페그에 맞춰 정렬하고 안정적으로 놓아야 한다. 이 설정은 실제 수술 하드웨어보다 긴 순서와 지연 보상 문제에 초점을 맞춘다.
수술 로봇은 어떤 결과를 냈나?
S2-HWM은 무모델 강화학습 시스템 및 다른 세계 모델 기준선과 함께 무작위화한 PegTransfer 작업에서 평가됐다. 반복 전이를 통해 더 긴 시퀀스를 처리할 수 있는지, 두 번째 전이 중 블록을 떨어뜨렸을 때 회복할 수 있는지도 시험했다.
핵심 결과는 이벤트 수준 예측에서 나타났다. 이벤트 전이 모델(Event Transition Model, ETM)은 개별 기본 동작을 하나씩 예측하는 대신, 다음에 학습된 이벤트 경계에서 어떤 일이 일어날지를 예측한다. 정규화된 예측 오차는 세 번의 이벤트 전이 동안 한 이벤트 기준값에 가까운 수준을 유지했고, 이후에는 기본 동작 수준의 연속 예측에 사용된 순환 상태공간 모델(RSSM)의 오차보다 더 완만하게 증가했다.
이는 관리자가 모든 중간 동작을 재귀적으로 시뮬레이션하지 않고도 여러 의미 있는 이벤트를 가로질러 계획할 수 있다는 뜻이다. 원문은 기준선 비교의 작업 성공률 수치를 제시하지 않으므로, 정확한 백분율 순위를 단정할 수는 없다. 다만 다음과 같은 평가 세부 정보는 제공한다.
| 평가 세부 항목 | 보고된 설정 |
|---|---|
| 학습 시드 | 3개 |
| 결정론적 체크포인트 에피소드 | 시드당 50개 |
| 단일 전이 에피소드 시간 한도 | 기본 동작 300스텝 |
| 반복 전이 시간 한도 | 기본 동작 최대 800스텝 |
| 스트레스 테스트에 필요한 전이 | 연속 전이 2회 |
| 이벤트 수준 예측 추세 | 세 번의 이벤트 전이 이후 ETM 오차가 RSSM 오차보다 완만하게 증가 |
스트레스 테스트가 중요한 이유는 짧고 고립된 동작에서는 성공하는 제어기라도 동작을 연속해서 연결해야 할 때 실패할 수 있기 때문이다. 교란 테스트에서는 두 번째 전이 중 외부 요인으로 블록을 떨어뜨려 회복 능력과 장거리 신용 할당의 취약점을 드러냈다.
S2-HWM은 어떻게 작동하나?
S2-HWM은 관측과 행동을 잠재 궤적으로 인코딩하는 것에서 시작한다. 잠재 궤적은 로봇이 무엇을 보고, 무엇을 하며, 환경이 어떻게 반응했는지를 간결하게 기록한 내부 표현이다. 시스템은 이 궤적에서 희소한 이벤트 신호를 찾는다. 즉, 현재 목표를 수정할 만한 시점임을 알려 주는 변화를 탐색한다.
이 이벤트는 고정된 시간 표지가 아니다. 접근 각도, 물체 위치, 접촉 상태에 따라 파지에 필요한 기본 동작 스텝 수는 달라질 수 있다. S2-HWM은 변화하는 상호작용에서 이벤트를 감지함으로써 모든 에피소드를 똑같은 경직된 시간표에 맞추는 일을 피한다.
이벤트 경계가 승인될 때마다 관리자는 새로운 잠재 목표를 선택한다. 작업자는 그 목표를 전달받고 다음 이벤트 경계까지 기본 동작을 계속 선택한다. 기본 동작은 각 시뮬레이션 스텝에서 생성되는 저수준 제어이고, 이벤트 수준 의사결정은 로봇이 다음에 무엇에 집중해야 하는지를 정한다.
ETM은 두 경계 사이의 길이가 가변적인 구간을 대상으로 작동한다. ETM이 예측하는 값은 세 가지다.
- 다음 경계의 확률적 상태: 다음 이벤트에서 로봇과 환경의 상태를 나타내는 압축 표현.
- 구간 지속 시간: 해당 이벤트에 걸리는 기본 동작 스텝 수.
- 구간 누적 보상: 길이가 가변적인 구간에서 얻은 전체 학습 신호.
관리자는 여러 이벤트에 걸쳐 ETM의 예측을 연결할 수 있다. 이를 통해 가치 부트스트랩의 범위가 확장된다. 즉, 관리자는 세계 모델이 일반적으로 제공하는 짧은 상상 롤아웃을 넘어 특정 목표가 장기적으로 얼마나 유용할지 추정할 수 있다. 다음 몇 가지 상호작용 이정표를 판단하기 위해 모든 중간 상태를 세세하게 예측할 필요가 없는 것이다.
작업자는 여전히 기본 동작 스텝 단위의 액터-크리틱 학습을 사용한다. 액터-크리틱 방법은 행동 정책과 가치 추정치를 함께 학습한다. 여기서 작업자는 정밀하고 즉각적인 제어를 맡고, 관리자는 더 긴 시간 범위의 작업 구성을 담당한다.
이 설계는 흔히 뒤섞이는 두 문제를 분리한다. 작업자는 정확하게 움직이고 조작하는 법을 학습하고, 관리자는 의미 있는 변화가 언제 일어났는지와 그다음에 어떤 목표를 선택해야 하는지를 학습한다.
이 연구가 로보틱스에 중요한 이유는?
장기 조작이 어려운 이유는 전체 순서가 끝난 뒤에야 최종 보상이 주어지는 경우가 많기 때문이다. 로봇이 물체에 접근하고, 접촉을 만들고, 물체를 운반하고, 정렬을 시작하는 동안에는 충분한 지침을 받지 못한다. 마지막에 놓기 동작이 실패하면 기존 학습 시스템은 앞선 어떤 결정이 실패를 초래했는지 파악하기 어렵다.
S2-HWM은 엔지니어가 모든 단계 경계를 직접 코딩하지 않아도 이벤트를 중심으로 학습을 구성하는 방법을 제시한다. 시도할 때마다 접촉 시점이 달라지는 조작 작업에 유용한 접근이다. 수술 도구 사용, 삽입, 조립, 전이, 제약된 위치 배치 등이 그 예다.
이 접근법은 역할 분담도 실용적으로 구성한다. 저수준 제어기는 접촉이 많은 동작에 필요한 정밀성을 유지하고, 상위 모델은 의미 있는 작업 전환을 바탕으로 추론할 수 있다. 이 구조는 긴 절차를 계획할 때 기본 동작 수준의 긴 롤아웃에 대한 의존도를 낮출 수 있다.
운영팀의 관점에서 이 아이디어는 하나의 동작만 수행하는 로봇이 아니라 일련의 순서를 완수해야 하는 로봇과 관련이 있다. 플랫폼을 비교하는 구매자는 범용 조작 시스템을 살펴보기 위해 Robot Overflow에서 휴머노이드 로봇 찾아보기를 이용하거나, 구조화된 자동화 하드웨어를 검토하기 위해 중고 산업용 로봇을 확인할 수 있다. 어느 범주도 자동으로 수술에 적합한 것은 아니지만, 두 범주는 길고 정교하게 조율된 조작에 필요한 하드웨어와 제어 스택을 보여 준다.
가장 직접적인 활용 분야는 여전히 시뮬레이션 기반 학습이다. 세계 모델은 비용이 많이 들거나 안전이 중요한 실제 시스템으로 정책을 이전하기 전에 더 빠르게 실험할 수 있게 한다.
한계와 남은 과제는 무엇인가?
평가는 무작위화한 SurRoL 기반 PegTransfer 작업 하나에 집중되어 있다. 따라서 서로 다른 기구, 조직과의 상호작용, 변형 가능한 재료, 카메라 조건, 실제 수술실로의 일반화 가능성은 아직 검증되지 않았다. 실험에서는 분석을 위해 사후 의미론적 레이블을 사용했지만, 에이전트 자체는 해당 레이블을 받지 않는다. 이는 레이블 없이 이벤트를 발견할 수 있음을 보여 주지만, 학습된 이벤트가 얼마나 해석 가능한지는 여전히 미지수다.
보고된 ETM의 장점은 전체적인 임상 성능 평가가 아니라 상대적인 예측 오차 증가율에 관한 것이다. 장기 예측의 정확도는 여전히 떨어지며, 긴 시간 범위에서는 불확실성 구간도 겹친다. 제공된 결과에는 기준선별 정확한 성공률이 포함되어 있지 않아, 성능 향상의 실제 규모를 판단하기 어렵다.
앞으로는 실제 로봇 실험, 더 폭넓은 수술 작업, 명시적인 회복 지표, 센서 노이즈와 접촉 불확실성을 포함한 테스트가 필요하다. 작업이 바뀌거나 예상치 못한 상호작용이 발생했을 때도 이벤트 경계가 안정적으로 유지되는지 확인하는 일 역시 중요하다.
자주 묻는 질문
S2-HWM은 실제 수술 로봇에서 테스트됐나?
아니다. 보고된 평가는 실제 수술실 로봇이 아니라 무작위화한 SurRoL 기반 PegTransfer 시뮬레이션을 사용했다.
시스템은 사람이 레이블을 붙인 수술 단계를 사용하나?
아니다. S2-HWM은 의미론적 단계 감독 없이 잠재 궤적에서 희소한 이벤트 신호를 학습한다.
이벤트 전이 모델은 무엇을 예측하나?
ETM은 다음 이벤트 경계의 상태, 가변적인 구간 지속 시간, 해당 구간에서 누적된 보상을 예측한다.
긴 작업에서 이벤트 경계가 유용한 이유는 무엇인가?
상호작용이 바뀌는 시점에 상위 관리자가 목표를 갱신할 수 있기 때문이다. 고정된 시간 간격이나 사람이 정의한 단계에 의존할 필요가 없다.
결론
S2-HWM은 학습된 상호작용 이벤트를 중심으로 수술 로봇 학습을 구성하며, 유연한 상위 계획과 정밀한 기본 동작 제어를 결합한다. 이벤트 수준 예측은 여러 작업 전환에 걸쳐 유용한 정보를 유지하며, 시뮬레이션에서 더 뛰어난 장기 조작 능력으로 나아갈 가능성을 보여 준다.