자아중심 관찰을 전신 동작에 연결하는 것은 인간 중심 환경에서 작동하는 휴머노이드 로봇의 근본적인 도전 과제입니다. 휴머노이드는 자신의 시점에서 세상을 인식하고, 작업 관련 객체를 식별하며, 그쪽으로 이동하고, 조정된 전신 움직임을 통해 물리적으로 상호작용해야 합니다. 인간이 일상 환경에서 쉽게 수행하는 이 인식-행동 루프는 고차원 시각 입력과 언어 명령을 전신 운동학적 행동에 매핑하는 정책을 필요로 합니다.
우리는 핵심 연결고리가 3D 가우시안 스플래팅(3DGS) 세계 내에서 짝을 이룬 시각적 관찰과 전신 움직임 추적에 적합한 해당 로봇 운동학적 행동을 합성하는 데이터 생성 시스템임을 보여줍니다. 이러한 시스템의 주요 이점은 가능해지는 분리입니다. 언어 명령을 지정하고, 시뮬레이션 세계의 특권 정보(객체 포즈, 충돌 형상, 보행 가능 영역)를 활용하여 행동 생성을 용이하게 하며, 그 후에 자아중심 관찰을 RGB 이미지로 렌더링할 수 있습니다. 표적 주석, 오라클 조건화된 동작 합성, 사후 렌더링을 활용하여 인간의 시연 노력 없도 수십 배로 데이터 생성을 확장할 수 있습니다.
이 시스템을 사용하여 3DGS로 재구성된 미터 단위 실내 환경에서 600 GPU-시간 내에 48,000개의 궤적을 자동으로 합성합니다. 그런 다음 자아중심 이미지, 작업 명령, 현재 로봇 상태를 입력으로 받아 단기 전신 운동학적 궤적과 이진 손목-객체 접촉 레이블을 예측하는 비전-언어-운동학(VLK) 정책을 훈련합니다. 이러한 접촉 레이블은 운동학적 상태의 보조 구성 요소로 취급됩니다. 각 손목이 조작된 객체와 접촉해야 하는지 여부를 나타내며 합성 데이터에서 쉽게 얻을 수 있습니다. 배포 중에는 접촉 인식 전신 추적기가 예측된 운동학 및 접촉 레이블을 사용하여 물리적 휴머노이드의 로봇 동작을 생성합니다.
우리는 두 가지 기본 작업 범주인 내비게이션과 객체 운송에서 시스템을 평가합니다. 내비게이션은 로봇이 명령된 위치로 이동해야 하고, 객체 운송은 객체를 명령된 위치로 이동해야 합니다. 함께 시각적 근거, 보행, 집기, 운반, 놓기를 포함한 전체 인식-행동 루프를 실행합니다. 폐쇄 루프 시뮬레이션 및 실제 G1 로봇에서의 실험은 재구성된 장면에서의 합성 상호작용이 시뮬-투-리얼 인식 기반 휴머노이드 로코-조작에 효과적인 지도 학습을 제공함을 입증합니다.
재구성된 장면에서 합성 데이터 생성
우리는 미터 단위 재구성된 장면에서 Unitree G1 동작을 합성하고 해당 자아중심 관찰을 렌더링하여 훈련 데이터를 생성합니다. 파이프라인은 장면 재구성 및 주석 달기, 주석이 달린 장면에서 G1 동작 합성, 자아중심 렌더링의 세 단계로 구성됩니다. 함께 이 단계들은 짝을 이룬 비전-언어-운동학 데이터를 생성합니다.
우리는 iPhone 14 Pro로 촬영한 Polycam 스캔에서 실내 환경을 재구성합니다. 스캔은 RGB 이미지와 LiDAR 기반 깊이를 결합하여 미터 단위 장면 재구성을 가능하게 합니다. 각 장면에 대해 자아중심 렌더링을 위해 실제 환경의 시각적 외관과 공간 레이아웃을 보존하는 3DGS 표현을 최적화합니다.
비전-언어-운동학 정책
생성된 비전-언어-운동학 시퀀스는 로봇 시점 관찰과 작업 명령을 미래 전신 움직임에 매핑하는 정책을 학습하기 위한 짝을 이룬 지도 학습을 제공합니다.
실험 설정
우리는 실험실 스타일 장면과 아파트 스타일 장면의 두 가지 물리적 환경을 사용합니다. 각 환경에 대해 선택된 가구 항목의 위치와 방향을 변경하여 여러 물리적 레이아웃을 만든 다음, iPhone 14 Pro의 Polycam 앱을 사용하여 각 레이아웃을 스캔하고 3D 가우시안 스플래팅(3DGS)으로 재구성합니다. 이는 합성 데이터 생성 및 시뮬레이션 평가에 사용되는 4개의 실험실 및 4개의 아파트 레이아웃을 생성합니다. 실제 배포는 동일한 두 물리적 환경에서 수행되며, 가구 레이아웃은 시행마다 수동으로 변경됩니다.
합성 데이터 생성 세부 사항
의미론적 3D 경계 상자와 보행 가능 영역 주석이 있는 재구성된 장면이 주어지면 파이프라인은 작업 관련 객체, 가능한 초기 포즈, 웨이포인트 및 작업 명령을 샘플링하고, G1 호환 궤적을 합성하며, 장면 침투 궤적을 필터링하고, 짝을 이룬 자아중심 관찰을 렌더링합니다. 각 시퀀스는 동기화된 자아중심 관찰, 언어 명령 및 G1 전신 운동학적 궤적을 포함합니다.
각 환경은 4개의 재구성된 레이아웃과 12개의 데이터 생성 모드를 포함합니다: 평가된 6개 모드 — Walk To, Turn Around, Pick (Floor), Put (Floor), Pick (Surface), Put (Surface) — 및 랜덤 걷기, 회전, 운반, 운반-회전을 위한 보조 모드. 이러한 보조 모드는 다양한 걷기 및 객체 운반 행동에 정책을 노출시켜 상태 범위를 개선합니다. 레이아웃 및 모드당 1000개의 궤적을 합성하여 환경당 48,000개의 궤적을 생성합니다. 단일 NVIDIA L40S GPU에서 하나의 레이아웃에서 하나의 모드에 대해 1000개의 궤적을 합성하는 데 약 4시간이 걸리며, 해당 자아중심 관찰을 렌더링하는 데 약 8.3시간이 걸립니다. 이러한 결과는 장면 재구성 및 주석 후 파이프라인이 레이아웃과 모드에 걸쳐 병렬화되어 대량의 짝을 이룬 VLK 지도 학습을 자동으로 생성할 수 있음을 보여줍니다.
시각적 도메인 무작위화 효과
렌더링 중 시각적 도메인 무작위화가 MuJoCo 시뮬레이션(IsaacSim 렌더링 사용)에서 시각적 섭동에 대한 강건성을 향상시키는지 평가합니다. 구체적으로, 무작위 조명 및 카메라 조건에서 실험실 장면의 걷기 모드 성공률을 평가하고, 네 가지 훈련 구성을 비교합니다: 무작위화 없음, 조명 무작위화만, 카메라 무작위화만, 전체 무작위화. 전체 설정은 조명 변화와 카메라 변화를 결합합니다.
장면 주석
장면 인식 동작 합성을 지원하기 위해 각 재구성된 장면에 주석을 답니다. 3DGS 표현은 명시적 메시나 의미론적 레이블을 제공하지 않으므로 먼저 재구성된 장면에서 포인트 클라우드를 추출하고 이를 주석의 기하학적 참조로 사용합니다. viser를 사용한 대화형 주석 도구를 구현하여 사용자가 재구성된 3D 장면을 로드하고, 3D로 검사하며, 작업 관련 주석을 추가할 수 있습니다.
의미론적 객체 주석을 위해 관심 객체 주위에 방향성 3D 경계 상자를 수동으로 배치하고 각 상자에 의자, 테이블, 상자와 같은 의미론적 레이블을 할당합니다. 주석 인터페이스는 각 상자를 장면의 해당 객체와 정렬하기 위해 이동, 크기 조정, 회전을 지원합니다. 이러한 의미론적 3D 상자는 내비게이션 작업의 대상 객체를 샘플링하고 상호작용 합성을 위한 작업 관련 객체 위치를 정의하는 데 사용됩니다.
또한 각 장면에서 보행 가능 영역에 주석을 답니다. 사용자는 바닥 평면에서 점 집합을 지정하고 도구는 이 점들을 연결하여 다각형 영역을 형성합니다. 이러한 영역은 휴머노이드 초기 포즈 및 내비게이션 웨이포인트 샘플링을 위한 가능한 영역을 정의합니다. 함께 의미론적 객체 상자와 보행 가능 영역은 장면 인식 동작 생성을 위한 기하학적 및 의미론적 구조를 제공합니다.
3D 장면에서 웨이포인트 및 언어 생성
주석이 달린 3D 장면에서 작업별 규칙에 따라 희소 웨이포인트를 생성합니다. 내비게이션 작업의 경우 주석이 달린 의미론적 3D 경계 상자에서 대상 객체를 먼저 샘플링합니다. 그런 다음 주석이 달린 보행 가능 영역에서 초기 휴머노이드 포즈와 중간 웨이포인트를 샘플링합니다. 샘플링된 포즈는 충돌이 없고 작업 목표와 호환되도록 제약됩니다.
상자 상호작용 작업의 경우 객체 상태와 지지 표면 높이에 따라 웨이포인트와 접촉 타이밍을 생성합니다. 집기 동작의 경우 웨이포인트는 휴머노이드가 상자에 접근하고, 손목-객체 접촉을 설정하며, 바닥이나 지지 표면에서 상자를 들어올리도록 안내합니다. 놓기 동작의 경우 웨이포인트는 휴머노이드가 상자를 목표 지지 표면으로 운반하고 원하는 위치에서 놓도록 안내합니다. 바닥에서 들어올리기, 테이블에서 들어올리기, 표면에 놓기는 다른 팔 높이와 접촉 단계를 필요로 하므로 표면 높이에 따라 손목 접촉 프레임과 원하는 상대 손목 포즈를 설계합니다. 이 작업별 설계는 합성 동작이 현실적인 접촉 타이밍을 유지하고, 급격한 수직 움직임을 피하며, 들어올리기 및 놓기 동안 로봇 손목을 상자와 정렬하도록 돕습니다.
최종 웨이포인트 시퀀스는 동작 합성 모델에 희소 공간 지침을 제공합니다. 이러한 웨이포인트는 생성된 휴머노이드 동작이 재구성된 장면에서 가능한 경로를 따르도록 장려합니다.
생성된 동작의 후처리
발 미끄러짐과 비현실적인 손-객체 접촉은 인간 동작 합성 및 인간-객체 상호작용 합성에서 흔한 문제입니다. 생성된 동작의 품질을 향상시키기 위해 이전 연구를 따라 하체 후처리를 적용합니다. 핵심 아이디어는 예측된 발 접촉 레이블을 사용하여 접촉 시작 및 접촉 단계를 식별하는 것입니다. 각 접촉 단계 동안 역기구학을 풀어 해당 로봇 발이 접촉 위치에 고정되도록 제약합니다.
손-객체 접촉 아티팩트를 수정하기 위해 EgoAllo의 최적화 접근법을 적용하고 객체의 로컬 프레임에서 표현된 입력 손목 포즈 쪽으로 각 손목의 위치와 회전을 유도하는 손목-포즈 일치 항을 도입합니다. 이는 객체 상호작용 중 더 현실적인 두 손 잡기 접촉을 장려합니다.
렌더링에서 도메인 무작위화
렌더링된 데이터의 실제 유용성을 향상시키기 위해 자아중심 렌더링 중 도메인 무작위화를 적용합니다. 무작위화는 카메라 매개변수, 조명 및 이미지 외관을 포함합니다. 카메라 무작위화는 가상 및 실제 ZED 2i 카메라 설정 간의 작은 보정 불일치를 설명하기 위해 카메라 외부 매개변수와 초점 거리를 교란합니다. 조명 무작위화는 돔 라이트 강도와 요 회전을 변경합니다. 또한 밝기, 대비, 채도, 색조의 교란, 가우시안 노이즈 및 가우시안 블러를 포함한 이미지 공간 외관 증강을 적용합니다.
VLK 훈련 손실 세부 사항
사전 훈련된 비전-언어 모델에서 VLK 정책을 초기화하고 생성된 비전-언어-운동학 데이터셋에서 전체 모델을 미세 조정합니다. 사전 훈련된 모델의 동작 공간을 G1 운동학 표현에 맞게 조정합니다.
정책은 노이즈가 있는 궤적, 보간 계수, 현재 자아중심 관찰, 작업 명령 및 현재 G1 운동학 상태를 조건으로 깨끗한 궤적을 예측합니다. 기본 궤적 재구성 손실은 궤적 기간에 걸쳐 예측된 관절 위치와 방향과 실제 값 사이의 평균 제곱 오차입니다.
시뮬레이션 평가 지표
RL 추적 컨트롤러는 IsaacLab에서 훈련되지만 MuJoCo에서 시뮬레이션 간 평가를 수행합니다. 평가 중에는 각 동작 청크 끝에서 VLK 정책이 궤적 추론을 수행하는 동안 시뮬레이터가 일시 중지되어 실시간 청크 실행을 피합니다. 각 작업 모드에 대해 합성된 궤적의 10%(모드당 1000개 궤적)를 평가용으로 보류합니다. 휴머노이드는 각 보류된 궤적의 초기 상태에서 초기화되고 해당 언어 조건화된 작업을 성공적으로 완료할 수 있는지 평가합니다.
"Walk To" 작업의 경우 휴머노이드가 지정된 대상 객체나 상자에 도달하고, 대상으로부터 0.5m 이내에 정지하며, 대상 형상과 충돌하거나 침투하지 않으면 롤아웃이 성공한 것으로 간주됩니다.
"Turn Around" 작업의 경우 휴머노이드가 지시된 방향으로 명확한 회전 동작을 수행하고 정지 상태를 유지하거나 전진 동작을 계속하지 않아야 성공합니다.
"Pick Up" 작업의 경우 휴머노이드가 바닥이나 물체 위에 놓인 상자를 성공적으로 잡고 최소 20개의 연속 프레임 동안 안정적으로 유지해야 합니다.
"Put Down" 작업의 경우 휴머노이드가 지정된 대상 객체에 도달하고 운반된 상자를 대상 표면이나 바닥에 성공적으로 놓는 것으로 성공이 정의됩니다.
배포 중 모션 블러 처리
실제 배포 중 보행 시 카메라 움직임이 자연스럽게 모션 블러를 생성하므로 강건성을 향상시키기 위해 RGB 관찰의 하위 집합에 합성 모션 블러를 추가합니다.
결론
우리는 재구성된 3D 장면에서 합성 상호작용으로 훈련된 인식 기반 휴머노이드 로코-조작 시스템을 제시했습니다. 우리의 파이프라인은 Unitree G1 호환 내비게이션 및 상자 조작 궤적을 생성하고, 짝을 이룬 자아중심 관찰을 렌더링하며, 추적기 기반 실행을 위한 전신 운동학적 궤적을 예측하는 VLK 정책을 훈련합니다. 시뮬레이션 및 실제 Unitree G1 로봇에서의 실험은 객체 지향 내비게이션 및 상자 조작을 입증하여 장면 기반 합성 지도 학습이 시뮬-투-리얼 휴머노이드 로코-조작을 지원할 수 있음을 보여줍니다. 이러한 결과는 재구성된 장면에서 로봇 호환 상호작용을 합성하는 것이 확장 가능한 인식 조건화된 휴머노이드 제어를 위한 유망한 경로임을 시사합니다.
현재 상호작용 합성은 제한된 큰 객체 집합과의 상호작용을 포함하는 OMOMO의 범위에 의해 제한됩니다. 결과적으로 생성된 행동은 컵이나 도구와 같은 작은 객체를 잡는 것보다 상자 모양 객체의 양손 운반에 더 적합합니다. 유사하게, 접촉 인식 추적기는 손목-객체 접촉을 통해 큰 객체 조작을 안정화하지만 정밀한 객체 잡기는 다루지 않습니다. VLK를 작은 객체 조작으로 확장하려면 더 풍부한 상호작용 데이터와 정밀한 객체 잡기를 위해 설계된 저수준 컨트롤러가 필요합니다.
자주 묻는 질문
인간 시연 없이 합성 훈련 데이터는 어떻게 생성되나요? 파이프라인은 3D 가우시안 스플래팅을 사용한 장면 재구성, 객체 및 보행 가능 영역의 의미론적 주석, 오라클 조건화된 동작 합성을 사용하여 단 600 GPU-시간 내에 48,000개의 짝을 이룬 비전-언어-운동학 궤적을 자동으로 생성합니다.
훈련 후 휴머노이드 로봇은 어떤 작업을 수행할 수 있나요? VLK 정책은 두 가지 기본 작업 범주를 가능하게 합니다: 내비게이션(명령된 위치로 걷기)과 객체 운송(상자를 바닥이나 표면에서 집고, 운반하고, 놓기)으로, 시뮬레이션과 실제 Unitree G1 로봇 모두에서 테스트되었습니다.
시각적 관찰에 대한 시뮬-투-리얼 격차를 시스템이 어떻게 처리하나요? 자아중심 렌더링 중 시각적 도메인 무작위화는 카메라 매개변수, 조명 조건 및 이미지 외관(밝기, 대비, 채도, 색조, 노이즈, 블러)을 교란하여 실제 환경에서 정책을 배포할 때 강건성을 향상시킵니다.
이 접근법의 현재 한계는 무엇인가요? 시스템은 상자 모양 객체의 양손 운반에 가장 적합하며 컵이나 도구와 같은 작은 객체 잡기는 다루지 않습니다. 이를 위해서는 더 풍부한 상호작용 데이터와 정밀한 잡기를 위한 특화된 저수준 컨트롤러가 필요합니다.