새로운 수술 로보틱스 모델이 향후 15개 시점에 걸쳐 수술 기구가 어디로 움직일지와 수술 장면이 어떻게 변할지를 함께 예측한다. SurgWMBench에서 평가한 결과, 3개 시점 단위로 예측을 이어 가는 방식은 한 번에 예측하는 방식보다 시각적 품질과 궤적 정확도를 높였다. 이는 기하 정보만으로 예측하는 방식보다 현실적인 수술 동작 계획의 기반을 제공한다.
목차
연구진은 무엇을 개발했나?
University of Macau 연구팀은 수술 동작 계획을 위한 공동 예측 모델을 개발했다. 이 시스템은 수술 기구의 다음 위치만 예측하는 대신, 서로 연관된 두 가지 흐름을 동시에 예측한다. 하나는 미래의 2차원 기구 궤적이고, 다른 하나는 수술 장면을 나타내는 미래의 시각 표현이다.
시각 표현은 카메라에 보이는 내용을 기계가 읽을 수 있도록 압축한 요약 정보다. 반드시 미래의 완전한 동영상 프레임일 필요는 없다. 기구와 조직의 상호작용, 시야, 조직 변형, 움직임으로 인해 발생하는 여러 변화를 모델이 추론하는 데 필요한 장면 정보를 담는다.
모델은 시각 정보와 움직임 정보가 담긴 과거 5개 시점의 기록을 사용한다. 그런 다음 다음 3개의 시각·동작 상태를 예측하고, 그 예측을 기록에 추가한 뒤 같은 과정을 반복해 15개 시점의 예측을 완성한다. 미래 전체를 한 번에 추측하는 대신 짧은 구간을 차례로 계획하는 구조다.
이 연구는 수술 궤적 모델과 영상 예측 모델 사이의 간극을 다룬다. 수술 궤적 모델은 기구가 어디로 이동할지를 추정하고, 영상 예측 모델은 시간이 지난 뒤 장면이 어떻게 보일지를 추정한다. 제안된 시스템은 두 과제를 연결해, 예측한 기구 경로가 그 결과로 예상되는 미래 장면과 함께 평가되도록 한다.
평가는 엄격한 과거 정보만 사용하는 방식으로 SurgWMBench에서 진행됐다. 즉, 테스트 과정에서 미래 정보를 제공받지 않고 과거 관측값만으로 미래 상태를 예측해야 한다.
모델은 어떤 결과를 냈나?
핵심 결과는 3개 시점 단위로 예측을 이어 가는 방식이 직접 한 번에 예측하는 방식보다 일관되게 우수했다는 점이다. SurgWMBench에서 전체 15개 시점의 예측을 생성할 때, 반복적인 3단계 롤아웃은 시각적 품질과 궤적 정확도를 모두 높였다.
이 비교가 중요한 이유는 두 방식이 같은 과거 정보와 같은 전체 예측 범위를 사용하기 때문이다. 차이는 미래를 생성하는 방법에 있다. 한 번에 예측하는 방식은 15개의 시각·궤적 상태를 한 번의 순전파로 모두 예측한다. 반면 청크 방식은 3개 시점을 예측한 뒤 그 결과를 다음 단계의 입력에 다시 넣고, 이 과정을 5회 반복한다.
보고된 결과는 scheduled sampling이 장기 예측의 안정성을 높인다는 점도 보여 준다. 학습 중 모델은 항상 정답 과거 기록만 받는 대신, 때때로 이전에 스스로 생성한 예측을 입력으로 받는다. 실제 배치 환경에서는 미래 입력을 알 수 없고 이후 예측이 앞선 모델 출력에 의존하므로, 이 방식이 실제 사용 조건에 더 가깝다.
다만 결과는 임상적 성과가 아니라 예비 연구 수준이다. 원문은 한 번에 예측하는 기준선보다 개선됐다고 보고하지만, 제공된 내용에는 구체적인 벤치마크 수치가 제시되지 않았다. 따라서 신뢰할 수 있는 증가율이나 절대 오차값을 밝히기는 어렵다. 현재 가장 강하게 말할 수 있는 결론은 시각 정보와 움직임을 함께 예측하는 것이 가능하며, 하나의 긴 예측보다 짧은 재귀적 롤아웃이 더 효과적이라는 점이다.
예측 시스템은 어떻게 작동하나?
이 시스템은 서로 짝을 이루는 상태를 예측하는 반복형 계획 루프로 이해할 수 있다. 각 단계의 입력에는 최근 시각 잠재 상태와 이에 대응하는 2차원 기구 위치가 포함된다. 모델은 이 기록을 처리해 미래 시각 상태와 미래 궤적 지점으로 구성된 짧은 시퀀스를 출력한다.
롤아웃은 3→3 구조로 진행된다.
- 관측된 시각·동작 상태 5개로 시작한다.
- 다음 3개의 시각 표현과 3개의 궤적 지점을 예측한다.
- 기록에서 가장 오래된 상태 3개를 제거한다.
- 예측한 상태 3개를 기록에 추가한다.
- 갱신된 5개 상태의 윈도우를 사용해 다음 3개 시점을 예측한다.
- 이 과정을 5회 반복해 미래 15개 시점에 도달한다.
이 설계는 현재 입력과 각 예측 사이의 거리를 줄인다. 한 번에 예측하는 모델은 모든 미래 시점을 직접 추정해야 하므로 시각 상태가 시간적으로 평균화되거나 궤적의 세부 정보가 사라질 수 있다. 청크 방식은 모델이 단기적인 움직임과 장면의 연속성을 유지할 기회를 반복해서 제공한다.
이 접근법은 학습과 추론 환경의 차이도 다룬다. teacher forcing을 사용할 때 모델은 학습 과정에서 정확한 이전 상태를 입력받는다. 그러나 실제 배치 환경에서는 자신의 예측을 입력으로 사용한다. scheduled sampling은 학습 중 이 두 조건을 섞어, 모델이 예측된 기록에 점진적으로 익숙해지도록 하고 그로 인한 분포 차이를 줄인다.
시각 정보와 움직임 정보는 서로 무관한 출력으로 분리되지 않고 연결된다. 따라서 기하학적으로는 그럴듯하지만 비현실적인 시각 상태를 초래하는 궤적 예측은 공동 예측으로서 낮게 평가할 수 있다. 반대로 시각적으로 일관된 미래라 하더라도 정확한 기구 경로와 대응해야 한다.
평가는 동일한 과거 정보만 사용하는 조건에서 직접 예측과 재귀 예측을 비교한다.
- 직접 한 번에 예측: 미래의 15개 상태를 한 번에 생성한다.
- 청크 기반 자기회귀 예측: 한 번에 3개 시점을 생성하고, 그 결과를 다음 입력에 다시 사용한다.
- 전체 예측 범위: 미래 15개 시점.
- 과거 기록 윈도우: 시각·동작 상태 5개.
- 롤아웃 단계: 3개 시점 예측 5회.
로보틱스에 왜 중요한가?
수술 환경은 동작 계획이 특히 어려운 공간이다. 관측 대상인 세계 자체가 동작에 따라 변하기 때문이다. 수술 기구는 조직을 변형하거나 카메라를 가리고, 시야를 바꾸며, 출혈을 비롯한 장면 변화를 일으킬 수 있다. 영상 좌표상 전문가의 경로와 가깝더라도, 그 결과로 나타나는 미래 상태가 비현실적이거나 안전하지 않을 수 있다.
시각 정보와 궤적을 함께 예측하는 모델은 기구 좌표만 제공하는 것보다 계획기에 더 유용한 정보를 준다. 후보 동작이 예상되는 수술 장면과 양립하는지 평가하고, 카메라와 기구의 협응을 지원하며, 폐루프 제어를 위한 더 풍부한 예측 목표를 제공할 수 있다. 또한 환경을 정적인 대상으로 취급하는 대신, 동작의 결과를 예측하며 계획하는 수술 시스템으로 나아갈 가능성을 보여 준다.
이 접근법은 수술 외에도 적용될 수 있다. 창고 로봇, 산업용 매니퓰레이터, 협동로봇 역시 동작이 시야와 물체 위치, 작업 공간의 상태를 어떻게 바꾸는지 고려해야 한다. 물리적 자동화를 평가하는 팀은 중고 산업용 로봇이나 판매 중인 중고 협동로봇을 살펴보면서, 계획 소프트웨어가 움직임만 예측하는지 아니면 그 결과로 나타나는 장면까지 예측하는지도 함께 검토할 수 있다.
수술 로보틱스에서 단기적으로 가장 현실적인 활용처는 시뮬레이션, 계획 보조, 모델 기반 모니터링일 가능성이 크다. 이 시스템은 임상용 제어기가 아니지만, 인식·동작·미래 상태 추정을 연결하는 월드 모델로 나아가는 경로를 제시한다.
한계와 남은 과제는 무엇인가?
이 연구는 명시적으로 예비 단계의 연구이며, 예측 범위가 길어질수록 예측 오류가 누적되면서 성능이 저하된다. 각 롤아웃 단계가 앞서 생성된 상태에 부분적으로 의존하기 때문에, 작은 시각 오류나 궤적 오류도 이후의 모든 예측에 영향을 줄 수 있다.
또한 예측 대상이 2차원 기구 궤적에 한정되어 있어 수술 로봇의 3차원 자세, 힘, 속도, 접촉 상태를 완전히 표현하지 못한다. 시각 잠재 표현은 장면을 압축해 설명하지만, 그렇다고 미래 영상이 사실적이거나 물리적으로 정확하다는 보장은 없다.
현재 모델은 명시적으로 계획된 동작을 조건으로 예측하지 않으며, 불확실성을 표현하거나 기구 움직임과 조직 반응 사이의 물리적 일관성을 강하게 보장하지도 않는다. 연구팀이 제시한 다음 과제에는 동작 조건화, 불확실성 모델링, 시각 정보와 움직임의 일관성 개선이 포함된다. 임상 검증, 안전성 시험, 실제 로봇 제어기와의 통합도 여전히 해결해야 할 과제다.
자주 묻는 질문
“시각·궤적 공동 예측”이란 무엇인가?
미래의 기구 위치와 미래 수술 장면의 시각 상태를 서로 별개의 과제로 처리하지 않고 함께 예측하는 것을 뜻한다.
모델은 왜 한 번에 3개 시점만 예측하나?
짧은 청크로 나누면 장거리 예측의 난도가 낮아지고, 모델이 기록을 반복해서 갱신할 수 있다. 3개 시점 예측을 5회 수행하면 전체 15개 시점의 예측이 완성된다.
이 모델을 바로 수술 로봇 제어에 사용할 수 있나?
아니다. 이 연구는 벤치마크에서 예측 기능을 입증한 것이지, 실제 환경에서 안전한 제어나 임상 성능을 입증한 것은 아니다.
SurgWMBench는 어떤 목적으로 사용되나?
SurgWMBench는 과거 정보만으로 미래의 수술 장면과 동작 상태를 예측할 수 있는지 평가하는 벤치마크다.
핵심 결론은 무엇인가?
이 연구는 모델이 기구의 움직임뿐 아니라 그 움직임이 초래할 시각적 결과까지 함께 예측할 때 수술 계획이 개선될 수 있음을 보여 준다. 청크 기반 자기회귀 설계는 한 번에 예측하는 방식보다 15개 시점의 미래를 더 잘 예측했지만, 장기 예측에서의 누적 오차와 동작·불확실성 모델링의 부재는 여전히 중요한 장벽으로 남아 있다.