연구진이 NEO라는 방법을 도입했습니다. 이 방법은 장면의 NeRF 표현을 한 번 구축한 후, 재훈련 없이 객체 제거, 삽입, 재배치 등 여러 편집을 가능하게 합니다. 이를 통해 로봇이 단일 초기 스캔만으로 조작 시퀀스를 계획하고 시각화할 수 있어, 동적 환경에서 데이터와 계산 요구량을 크게 줄입니다.
목차
연구진이 만든 것
NEO(NeRF It Once, Edit It Many Times)는 로봇이 단일 신경 방사 필드(NeRF) 모델을 여러 번 순차적으로 편집하며 상호작용할 수 있게 해주는 장면 편집 프레임워크입니다. 객체 제거나 재배치 후 매번 전체 네트워크를 재훈련하는 대신, NEO는 사용자 입력(언어 프롬프트 또는 상대 6-DoF 포즈)에 따라 밀도 및 색상 필드를 국소적으로 업데이트합니다. 편집된 표현은 원래 구조를 유지하므로 로봇이 다음 조작 단계에 즉시 사용할 수 있습니다.
팀은 또한 고정 로봇 팔을 사용해 실제 객체 조작 전후를 촬영한 등록된 탁상 장면의 벤치마크인 NEO-Dataset을 구축했습니다. 여기에는 실제 기하학과 포즈가 포함된 객체 제거 및 객체 이동 시나리오가 모두 포함됩니다. 객체는 YCB 데이터셋에서 가져와 재현성을 보장합니다. NEO는 다단계 조립 작업을 위한 실시간 상태 추정기 역할을 하도록 설계되어, 로봇이 작업 공간을 다시 스캔하지 않고도 편집된 NeRF에서 직접 그립을 계획하고, 경계 상자를 생성하며, 동작을 실행할 수 있습니다.
주요 결과
NEO-Dataset 객체 제거 작업에서 NEO는 DFF 및 NeRFiller와 같은 이전 방법보다 가려진 영역 재구성에서 크게 우수한 성능을 보였습니다. 객체 조작에서는 'Out' 영역(객체의 원래 위치)과 'In' 영역(객체의 새 위치)에서 높은 PSNR 및 SSIM 점수를 달성하여, 새로 드러난 표면과 재배치된 객체를 충실히 렌더링하는 능력을 입증했습니다.
네 단계 순차적 조립 실험에서 NEO는 각 중간 장면 상태를 실제 촬영과 거의 차이 없이 예측했습니다. 합성된 뷰는 객체가 여러 번 이동되었음에도 모든 단계에서 기하학적 일관성을 유지했습니다. 각 편집 후 재훈련이 필요하고 아티팩트를 발생시키는 DFF와 달리, NEO는 추가 훈련 없이 안정적인 결과를 제공했습니다. 이 모델은 편집된 표현에서 직접 그립 계획을 지원하여, 사용자 확인 후 완전 자율 로봇 실행을 가능하게 했습니다.
작동 방식
NEO는 표준 NeRF를 기반으로 하며, 장면을 3D 좌표를 밀도와 색상에 매핑하는 연속적인 체적 함수로 인코딩합니다. 핵심 혁신은 이 함수의 관련 영역만 업데이트하는 경량 편집 메커니즘입니다. 객체 제거의 경우 NEO는 사용자가 지정한 3D 경계 상자 내부의 밀도를 억제한 후 사전 훈련된 확산 모델을 사용하여 다중 뷰 일관된 방식으로 누락된 색상을 인페인팅합니다. 객체 이동의 경우 밀도가 원래 위치에서 대상 포즈로 전송되고, 비워진 영역이 인페인팅됩니다.
언어 필드가 NeRF에 연결되어 텍스트 프롬프트(예: "빨간 머그")를 통한 객체 선택을 가능하게 합니다. 이 필드는 각 편집 후 업데이트된 기하학과 일치하도록 정제됩니다. 편집 후 표현은 직접 재사용 가능합니다. 변경되지 않은 부분은 그대로 유지되고, 수정된 영역은 로컬 패치로 저장됩니다. 이를 통해 전역 재훈련 없이 반복 편집이 가능합니다.
NEO-Dataset은 벤치마킹을 위한 실제 RGB-D 이미지와 객체 포즈를 제공합니다. 메트릭은 'In' 및 'Out' 마스킹 영역에 대해 별도로 계산되어, 편집의 가장 어려운 부분인 이전에 보이지 않았던 표면(제거된 객체 아래) 재구성과 이동된 객체의 새 위치 렌더링에서 모델 성능을 분리합니다. 조립 실험의 경우 초기 장면과 목표 동작만 제공되며, 중간 상태는 NEO로 생성되어 실제 촬영과 비교됩니다.
로봇공학에서의 중요성
대부분의 로봇 조작 시스템은 변화하는 작업 공간에 대한 이해를 업데이트하기 위해 반복적인 스캐닝에 의존합니다. NEO는 각 동작과 함께 진화하는 지속적이고 편집 가능한 3D 모델을 제공하여, 여러 번의 재스캔 필요성을 줄입니다. 이는 장면이 빠르게 변하는 조립, 픽 앤 플레이스, 빈 피킹 작업에서 특히 가치 있습니다.
언어 프롬프트 편집을 가능하게 함으로써 NEO는 인간의 지시와 로봇 동작 간의 격차를 해소합니다. 작업자가 "파란 블록을 왼쪽 구석으로 옮겨"라고 말하면, 로봇은 실행 전에 결과를 시각화할 수 있습니다. 이 기능은 물품을 재배치해야 하는 창고 로봇과 복잡한 탁상 작업을 수행하는 인간형 로봇에 직접적으로 관련됩니다. NEO가 재훈련 없이 순차적 편집을 지원한다는 사실은 계산 예산이 빠듯한 실시간 운영에 실용적입니다.
한계와 미해결 질문
NEO는 초기 NeRF가 좋은 적용 범위로 정적 장면에서 훈련되었다고 가정합니다. 초기 스캔이 큰 가려진 영역을 놓친 경우, 이후 편집에서 아티팩트가 발생할 수 있습니다. 확산 기반 인페인팅 단계는 효과적이지만, 특히 동일 영역이 여러 번 수정될 경우 반복 편집에서 사소한 불일치를 발생시킬 수 있습니다. 이 방법은 소수의 객체가 있는 탁상 장면에서만 검증되었으며, 복잡한 산업용 빈이나 전체 방으로의 확장은 아직 테스트되지 않았습니다. 또한 언어 기반 객체 선택은 뚜렷한 객체에는 잘 작동하지만, 모호하거나 부분적으로 가려진 객체에는 어려움을 겪을 수 있습니다.
자주 묻는 질문
NEO가 이전 NeRF 편집 방법과 다른 점은 무엇인가요? NEO는 각 편집 후 재훈련이 필요하지 않습니다. 로컬 업데이트를 수행하여 원래 구조를 보존하므로, 단일 초기 스캔에서 수십 번의 순차적 수정이 가능합니다.
NEO는 제거나 이동뿐만 아니라 객체 삽입도 처리할 수 있나요? 네. 동일한 밀도 전송 및 인페인팅 파이프라인이 라이브러리에서 객체를 삽입하거나 장면 내에서 객체를 복사하는 것을 지원합니다.
NEO를 실행하는 데 필요한 하드웨어는 무엇인가요? 단일 GPU(예: NVIDIA RTX 3090)로 일반적인 탁상 NeRF를 편집하기에 충분합니다. 초기 훈련은 약 20분, 각 편집은 1분 미만이 소요됩니다.
NEO-Dataset은 공개적으로 사용 가능한가요? 네. 데이터셋에는 객체 제거 및 조작의 실제 전후 촬영이 포함된 6개의 장면과 YCB 데이터셋의 객체 포즈가 포함됩니다.
결론
NEO는 단일 초기 모델에서 무제한 순차적 편집을 가능하게 하여 실제 로봇공학에서 NeRF 장면 편집을 실용적으로 만듭니다. 조작 결과에 대한 정확한 예측을 제공하고 자율 실행을 지원하여 인식과 동작 사이의 루프를 닫습니다. 이 연구는 편집 가능한 3D 장면 표현을 동적 산업 환경에 배포하는 데 한 걸음 더 가까이 다가서게 합니다.