동기화된 스테레오 내시경 3대는 수술 로봇에 조직의 더 선명한 3D 시야를 제공했지만, 최적의 재구성 방식은 사용 가능한 시점의 수에 따라 달라졌다. MV-dVRK 벤치마크는 검증된 표면 형상과 카메라 포즈를 실제 로봇 수술 장면과 결합한다. 그 결과 내시경이 2대일 때는 스테레오 방식이 앞서고, 세 번째 시점이 추가되면 기하학을 정교화한 다중 시점 시스템이 우위를 차지하는 것으로 나타났다.
목차
연구진은 무엇을 구축했나?
MV-dVRK는 독립된 로봇 팔을 이용해 da Vinci Research Kit, 즉 dVRK에 두 번째 스테레오 내시경을 추가했다. 이어 고정형 마운트에 세 번째 스테레오 내시경을 설치했다. 세 시점 모두에서 동기화된 좌우 영상 쌍을 촬영하므로, 연구진은 매 순간 동일한 수술 장면을 최대 6장의 이미지로 관찰할 수 있다.
연구진은 성체 돼지 2마리에서 신선하게 적출한 복부 장기를 이용한 모의 수술 중 데이터를 수집했다. 경험이 풍부한 내장외과 전문의 2명이 담낭 절제, 관상 조직 박리, 소장 연결 등 대표적인 작업을 수행했다. 기록에는 정밀한 기하학적 기준을 구축하는 데 사용한 정적 장면과, 카메라 이동·기구·조직 변형이 포함된 동적 시퀀스가 모두 담겼다.
정적 데이터는 8개 장면과 80개의 동기화된 테스트 샘플로 구성된다. 각 테스트 샘플에는 카메라 위치, 시점 간 중첩 영역, 조명, 로봇 구성, 기구 배치가 달라지도록 선정한 3개의 스테레오 쌍이 포함된다. 각 정적 장면에서는 105장의 이미지를 신중하게 골라 조밀한 기준 재구성을 만들었다.
이 기준 데이터는 조직 표면과 모든 카메라의 포즈를 하나의 좌표계에 통합한다. 재구성된 기하학은 산업용 3D 스캐너로 독립 검증했다. 따라서 컴퓨터 비전 추정치에만 의존하지 않고 실제 활용을 고려한 검증 절차를 거쳤다.
핵심 결과는 무엇인가?
이 벤치마크는 스테레오 재구성과 다중 시점 재구성 사이의 뚜렷한 절충 관계를 보여준다. 내시경이 2대뿐일 때는 보정된 스테레오 방식이 모든 테스트 대상 다중 시점 방식보다 공통 기준 시야에서 더 정확한 기하학을 복원했다. 단안 재구성 시스템이 이동하는 카메라의 긴 시퀀스를 처리한 경우에도, 스테레오는 단안 방식보다 훨씬 넓은 조직 영역을 포괄했다.
세 번째 시점을 추가하자 결과가 달라졌다. 카메라 포즈와 3D 구조를 함께 최적화하는 기하학 정교화 다중 시점 방식은 공통 시야의 평균 재구성 오차를 1.9밀리미터 줄였으며, 상대적으로 54% 개선됐다. 동기화된 이미지 6장을 모두 사용했을 때 이 방식의 1밀리미터 이내 커버리지는 66~67%에 달했다. 피드포워드 모델의 커버리지는 28~44%였다.
| 비교 | 벤치마크 결과 | 실질적 의미 |
|---|---|---|
| 스테레오와 2프레임 단안 재구성 비교 | 모든 8개 장면에서 커버리지 27%포인트 우위, 95% 신뢰구간 20~34%포인트 | 스테레오 쌍은 즉시 더 넓은 활용 가능 표면을 포착한다 |
| 스테레오와 단안 50프레임 비교 | 8개 장면 중 6개에서 커버리지 15%포인트 우위, 신뢰구간 5.8~25%포인트 | 시간에 따른 카메라 이동만으로는 동시 스테레오를 완전히 대체할 수 없다 |
| 기하학 정교화 다중 시점 방식에 세 번째 시점 추가 | 평균 오차 1.9mm 감소, 상대적 54% 개선 | 추가적인 시점 간 정보가 공통 시야의 정확도를 높인다 |
| 동기화된 6개 시점과 피드포워드 모델 비교 | 1mm 이내 커버리지 66~67% 대 28~44% | 충분한 시점이 있으면 명시적 기하학 최적화가 유리하다 |
그렇다고 카메라를 더 많이 배치하면 모든 지표가 항상 개선된다는 뜻은 아니다. 두 번째 내시경의 시야에서 나타난 개선 폭은 장면마다 조직 중첩과 카메라 기하가 달랐기 때문에 더 큰 편차를 보였다.
벤치마크는 어떻게 작동하나?
이 벤치마크는 동일한 동기화 입력 조건에서 여러 재구성 전략을 시험한다. Endo3R과 같은 단안 방식은 하나의 내시경에서 2프레임 또는 50프레임을 사용해 3D 구조를 추정한다. FoundationStereo와 같은 스테레오 방식은 한 내시경의 보정된 좌우 카메라를 이용해 서로 대응하는 이미지 특징으로부터 깊이를 추론한다.
다중 스테레오 구성에서는 각 내시경에 대해 스테레오 재구성을 독립적으로 수행한다. 그런 다음 시각적 대응점과 강체 변환 또는 스케일을 유연하게 허용하는 변환을 이용해 생성된 포인트 클라우드를 정렬한다. 이 방식은 여러 스테레오 재구성 결과를 결합하지만, 모든 이미지와 모든 장면 점을 한꺼번에 공동 최적화하지는 않는다.
반면 다중 시점 방식은 여러 내시경의 이미지를 하나의 공통 기하학 프레임워크에서 처리한다. 기하학 정교화 시스템은 초기 재구성 결과를 바탕으로 카메라 포즈와 장면 구조를 함께 최적화한다. 세 번째 내시경이 추가적인 시점 간 대응점을 제공하면, 이 최적화의 효과가 커진다. 큰 카메라 기선이나 제한적인 시점 중첩으로 생기는 모호성도 줄어들기 때문이다.
성능을 평가하기 전에 모든 예측 결과를 기준 재구성에 등록한다. 등록에는 Sim(3)라고 하는 강건한 유사 변환을 사용하며, 회전·이동·전역 스케일을 보정할 수 있다. 덕분에 절대 스케일을 다르게 추정했다는 이유만으로 불이익을 주지 않고, 형상과 상대적인 카메라 기하를 평가할 수 있다.
서로 다른 성능 측면을 포착하기 위해 세 가지 지표를 사용한다.
- 정답 기준 커버리지: 예측 점이 1밀리미터 이내에 존재하는 기준 표면 점의 비율. 5밀리미터 기준 결과도 함께 보고한다.
- 평균 3D 오차: 공통 E1L 카메라 시야에서 동일한 픽셀에 대응하는 예측 점과 기준 점 사이의 거리.
- 상대 포즈 오차: 카메라 사이의 추정 변환 정확도. 이동은 밀리미터, 회전은 도 단위로 측정한다.
E1L 카메라는 가장 완전한 기준 표면을 갖고 있으며 테스트한 입력 구성 전반에서 관찰되므로 공통 비교 영역으로 사용한다.
로봇공학에서 왜 중요한가?
로봇 수술은 인식 시스템에 매우 까다로운 환경이다. 내시경은 좁은 진입 경로를 통과해야 하고, 기구와 해부학적 구조가 서로를 자주 가리며, 체내에 배치할 수 있는 카메라 수에도 한계가 있다. 그 결과 카메라 사이의 기선은 크지만 이미지 간 중첩 영역은 제한적인 희소 시점 문제가 발생한다.
MV-dVRK는 카메라 수와 알고리즘 선택을 함께 설계해야 한다는 점을 보여준다. 내시경 2대 환경에서는 밀접하게 결합된 카메라 쌍에서 안정적인 깊이를 추출하는 보정 스테레오 파이프라인이 유리하다. 세 번째 시점이 추가되면 시점 간 공유 정보가 충분해져, 공동 다중 시점 최적화가 독립적으로 정렬한 스테레오를 앞설 수 있다.
이 결과는 미래의 수술 로봇이 하나의 만능 재구성 알고리즘보다 모듈형 센서 시스템을 채택하도록 이끌 수 있다. 시스템은 낮은 지연 시간이 필요한 제어에는 빠른 스테레오 방식을 사용하고, 동기화된 시점이 추가로 확보되며 연산 여유가 있을 때는 기하학 정교화를 실행할 수 있다.
이 교훈은 의료 분야를 넘어선다. 중고 산업용 로봇 시장 전반을 평가하는 팀은 여러 카메라와 로봇이 함께 작동하는 작업 공간에서 협조 카메라, 보정, 로봇 동작을 서로 별개의 하드웨어 선택이 아니라 하나의 인식 시스템으로 볼 수 있다. 어떤 다중 로봇 작업 공간에서도 관측 범위는 센서를 어디에 배치하고 관측 결과를 어떻게 융합하느냐에 따라 달라진다.
한계와 남은 과제는 무엇인가?
가장 강력한 정답 기준 결과는 정적 조직에서 얻어졌다. 조직이 변형되는 동안 조밀한 기준 기하를 확보하기는 어렵기 때문이다. 동적 MV-dVRK 시퀀스에는 카메라 이동과 해부학적 변화가 포함되지만, 이에 상응하는 조밀한 표면 정답 데이터는 제공되지 않는다.
정적 벤치마크는 돼지 2마리와 3가지 수술 과제에서 얻은 8개 장면으로 구성된다. 따라서 통제된 비교는 가능하지만, 다른 해부학적 구조·시술·조명 조건·생체 내 환경에서는 성능 차이가 달라질 수 있다. 기준 표면은 직접 측정한 것이 아니라 재구성한 결과이지만, 산업용 스캐너로 기하학을 독립적으로 검증했다.
카메라 포즈 역시 조밀한 구조 기반 운동 재구성으로 얻었으며, 추가적인 보정 편향을 도입하지 않고는 외부에서 완전히 검증하기 어렵다. 실제 배포를 위해서는 더 빠른 조밀 대응점 탐색, 더 낮은 지연 시간의 최적화, 그리고 알려진 스테레오 리그의 기하·로봇 운동학·조직 변형을 반영하는 방법이 필요하다.
자주 묻는 질문
MV-dVRK란 무엇인가?
MV-dVRK는 동기화된 스테레오 내시경 3대를 중심으로 구축된 로봇 수술 데이터셋이자 벤치마크다. 실제 생체 외 수술 장면을 이용해 희소 시점 3D 재구성을 평가한다.
일부 방식에서는 내시경 3대가 2대보다 나은 이유는 무엇인가?
세 번째 시점은 추가적인 시점 간 대응점을 제공해, 공동 최적화 방식이 카메라 포즈와 조직 기하를 더 정밀하게 다듬도록 돕는다. 내시경이 2대뿐일 때는 공통 기준 시야에서 보정 스테레오 방식이 여전히 더 정확했다.
MV-dVRK는 움직이는 조직에서의 성능도 측정하나?
데이터셋에는 카메라 이동과 조직 변형이 포함된 동적 시퀀스가 있지만, 조밀한 기준 기하는 정적 장면에서만 제공된다. 따라서 동적 데이터는 향후 인식 연구를 지원하며, 정적 데이터와 동일한 수준의 상세한 기하 평가에는 사용되지 않는다.
현재 수술 로봇은 스테레오와 다중 시점 재구성 중 무엇을 사용해야 하나?
벤치마크 결과에 따르면 내시경이 2대뿐일 때는 보정 스테레오 방식이, 세 개의 동기화된 시점에서 충분한 중첩이 확보될 때는 기하학 정교화 다중 시점 재구성이 유리하다. 다만 지연 시간, 카메라 배치, 보정 품질, 관찰 가능한 조직의 양도 시스템 수준에서 중요한 요소다.
결론
MV-dVRK는 동기화된 시점이 추가될 때 수술용 3D 인식이 어떻게 달라지는지 측정할 수 있는 현실적인 테스트베드를 제시한다. 그 결과는 실질적인 전환점을 보여준다. 가장 희소한 구성에서는 스테레오가 가장 강력하지만, 세 번째 내시경이 추가되면 공동 최적화 다중 시점 재구성이 더 정확하고 완전한 결과를 낸다.