EyeRobot 2.0은 능동 시각 고정(AVF)을 도입한 로봇 학습 프레임워크입니다. 고정형 스테레오 카메라 하나의 입력만으로 빨대 꽂기, 마커 뚜껑 닫기, 가방 지퍼 잠그기, 공구함에서 렌치 꺼내기와 같은 정밀 조작 작업은 물론, 토스터 오븐 열기, 트레이 당겨 꺼내기, 팬 꺼내기, 트레이 밀어 넣기, 문 닫기와 같은 다단계 작업도 수행할 수 있습니다.
실제 로봇을 이용한 7개 작업과 시뮬레이션 MuJoCo 작업 6개에서 EyeRobot 2.0을 평가하고, 데이터를 수집해 처음부터 단일 작업 정책을 학습했습니다. 실제 환경에서 1,000회 이상의 시행 결과, 정적 스테레오 기준선보다 성능이 40% 높았고 시뮬레이션 픽앤플레이스 작업에서는 20% 높았으며, 미세 정밀도가 필요한 작업에서는 성능 향상 폭이 더 컸습니다. 널리 채택된 최신 자기중심 시점+손목 카메라 구성과 비교했을 때, 손목 카메라가 없는 EyeRobot 2.0은 실제 환경 시행에서 동등한 작업 성능을 보였습니다. 손목 카메라가 심하게 가려지는 작업에서는 높은 성능을 유지한 반면, 손목 카메라 기준선의 성능은 정적 스테레오 수준으로 떨어졌습니다. 어블레이션 실험 결과, 고정 중심 행동은 EyeRobot 2.0의 성능 향상에 상당 부분 기여했으며 시뮬레이션 작업 전반에서 성능을 20% 높였습니다. 시선 집중은 세밀한 작업에서 실제 환경의 성공률을 높이는 데 크게 기여해 전체 성능을 20% 향상했습니다.
능동 시각 고정을 이용한 조작
평행 그리퍼를 이용한 양팔 조작을 대상으로, 사람의 원격 조작 시연을 활용한 시각운동 정책 학습을 연구합니다. 작업을 지정하는 시연 세트가 주어지면, 목표는 시연된 동작을 자세의 제한된 변동 범위 안에서 재현하는 작업별 정책을 학습하는 것입니다.
EyeRobot 2.0은 관측이 대략 머리에 장착된 스테레오 카메라 하나만을 통해 제공되는 자기중심 시점 설정을 고려합니다. 정책은 작업별 성공 기준에 따라 평가합니다.
강화학습을 이용한 시선 패턴 학습
AVF는 두 단계로 학습합니다. 먼저 작업과 관련된 모든 물체를 응시할 수 있는 목표 조건부 고정 정책을 학습합니다. 다음으로 작업 성능을 최적화하도록 응시 순서를 정하는 계층형 목표 선택 정책을 학습합니다.
첫 번째 단계에서는 감지된 물체 위치를 활용한 기하학적 보상으로 강화학습을 수행해 고정 정책을 학습합니다. 이를 통해 지정된 물체를 정확하게 3D 추적할 수 있습니다. 두 번째 단계에서는 행동 복제와 강화학습을 반복하는 루프에서 목표 선택기를 강화학습으로 학습합니다. 고정된 시점에서 얻은 결과를 바탕으로 그리퍼 행동 복제 정책을 공동 학습하고, 행동 예측 정확도를 극대화하는 고정 시점을 선택하도록 선택기에 보상을 줍니다. 이러한 계층형 구성은 사람이 직접 지정하지 않아도 작업에 맞는 시선 동작이 형성되도록 합니다.
실험
EyeRobot 2.0은 평행 그리퍼를 장착한 양팔 14자유도 I2RT YAM 매니퓰레이터로 구현했습니다. 양팔 사이에 정적 스테레오 카메라를 장착했습니다. 카메라는 베이스 관절 위 35 cm 높이에 놓고 테이블 전체를 관측할 수 있도록 아래쪽으로 45° 기울였습니다. 각 눈은 대각선 시야각 120°를 포착하며, 해상도는 제공된 텍스트에 명시되어 있지 않음입니다. GELLO와 TRLC를 개조한 맞춤형 리더 암을 사용해 로봇을 원격 조작했습니다.
결과
최신 기준선과 비교해 EyeRobot 2.0의 성능을 평가합니다. 비교 조건을 엄격히 통제하기 위해 모든 데이터를 직접 수집하고, 정확히 동일한 시연 데이터로 모든 정책을 처음부터 학습했습니다. 이 방식은 상용 모델의 알려지지 않은 사전 학습 데이터 분포로 인한 불투명성을 피하고, 계산 자원을 줄이며, 실행 가능한 실험 규모를 한 자릿수 배수만큼 확대합니다.
실제 환경 평가
각 정책을 세 가지 시드로 학습한 뒤, 평가에 사용할 시드를 무작위로 하나 선택했습니다. 각 작업에서 학습 데이터 영역 안에 물체를 배치하되 학습 데이터의 위치와 정확히 일치하지 않도록 선택한 25개의 장면 구성으로 모든 정책을 평가했습니다. 평가 중에는 테스트 위치에 실시간 카메라 영상을 겹쳐 표시하고, 모든 정책에서 테스트 위치가 정확히 같아지도록 물체를 수동으로 정렬했습니다. 실제 환경에서 기준선과 어블레이션을 평가한 모든 시행을 합쳐 정책 실행을 1,000회 넘게 평가했습니다.
시뮬레이션 평가
모든 기준선 정책과 EyeRobot 2.0 정책을 세 가지 시드로 학습하고, 실패한 시드를 제외하기 위해 최고 성능을 보고합니다. 모든 시뮬레이션 평가는 학습 중에는 보지 않았지만 동일한 분포에서 추출한 100개의 무작위 구성으로 수행했습니다. 각 정책은 단일 작업 데이터로 처음부터 학습하고, 동일한 시간 앙상블 가중치와 추론 코드로 실행했습니다.
시선 정책은 동작을 시작하기 전에 시선이 안정되도록 1초의 시간을 부여받습니다. 단계별 성공 여부는 수동으로 지정한 MuJoCo 물리 조건을 사용해 프로그램으로 판정하며, 각 작업에는 시연 평균 길이를 기준으로 실패 제한 시간을 설정합니다.
어블레이션
다중 스케일 이미지 피라미드를 제거하고, 각 눈에 대해 주변 시야 하나만 사용해 시선 정책과 그리퍼 정책을 학습했습니다. 이로 인해 전체 성능이 20% 저하됐으며, 상세한 이미지 이해가 필요한 정밀한 실제 작업에서 가장 큰 격차가 나타났습니다.
시뮬레이션에서는 이 어블레이션의 성능이 EyeRobot 2.0과 동일합니다. 시뮬레이션에서 로봇을 실행할 때는 변동성이 거의 없거나 전혀 없는 반면, 실제 환경에서는 시행마다 실행 결과가 달라 폐루프 시각 서보 제어가 더 필요하기 때문일 수 있습니다.
한계와 향후 연구
현재 EyeRobot 2.0은 작업별 시선 정책과 그리퍼 정책만 학습합니다. 향후 프레임워크를 확장해 다중 작업 성능을 유지하는 방법을 연구하는 것은 흥미로운 방향입니다. 목표 선택기를 사용하면 일반적인 프롬프트를 처리할 수 있도록 충분히 큰 말뭉치로 시선을 학습해야 하며, 이를 위해 비전-언어 모델과 같이 프롬프트를 생성하는 다른 아키텍처가 필요할 수 있습니다.
이 연구는 머리나 목의 움직임을 제어하지 않습니다. 이미 적절한 머리 위치가 확보된 경우에 미세한 눈 움직임을 어떻게 조정할지 제안합니다. 마지막으로, 물체 수준의 사전 학습은 많은 조작 작업에 충분하지만 아직 물체 하위 수준의 시선을 학습할 수 없으며, 이를 통해 조작 성능이 더 향상될 수도 있습니다.
결론
EyeRobot 2.0은 고정형 스테레오 카메라만으로 미세한 양팔 조작을 수행하는 로봇 학습 프레임워크입니다. 능동 시각 고정을 활용해 작업과 관련된 특징으로 주의를 유도합니다. 실험 결과는 능동 고정이 비능동 스테레오 기준선보다 스테레오 데이터를 더 효과적으로 활용하며, 다양한 고정밀 실제 작업에서 기준선을 크게 앞서고 손목 카메라와 동등하거나 더 높은 성능을 보인다는 점을 시사합니다.
구성 요소를 하나라도 제거하면 성능이 저하됩니다. 이는 EyeRobot 2.0이 다중 해상도 이미지 입력, 고정 중심 행동, 스테레오 정보를 활용해 실제 환경의 미세 조작을 돕는다는 점을 보여줍니다. 이 결과는 손목 카메라 대신 능동 시각 고정을 이용해 미세 조작을 수행하는 시스템의 가능성을 시사합니다.
주요 하이퍼파라미터
재현성을 위해 모든 학습 코드를 공개할 예정이며, 여기에는 주요 하이퍼파라미터를 보고합니다.
시선 정책은 행동 공간을 이산화하고 교차곱 범주형 분포를 출력합니다. 방위각과 고도각은 8개의 극 방향으로 구간화하며, 각 방향마다 두 가지 크기(10° 및 3°)와 무동작을 둡니다. 깊이 변화량은 세 가지 크기(10 cm, 5 cm 및 1 cm)와 무동작으로 구간화합니다. 그 결과 정책 출력의 교차곱 행동 공간에는 119개의 구간이 있습니다. 중복된 물체처럼 행동이 모호한 경우 동률을 해소하는 데 도움이 되므로 이산화된 행동 공간을 선호합니다.
테스트 분포
현재 위치와 테스트 위치를 겹쳐 표시해 물체 위치를 정렬함으로써, 사람의 배치 오차 범위 내에서 모든 정책을 정확히 동일한 위치에서 평가합니다.
방해 물체
방해 물체 실험에서는 전체 평가와 동일한 절차를 따릅니다. 테스트 물체와 방해 물체의 위치 25개를 기록한 뒤 모든 모델에서 정확히 동일하게 재현합니다.
실제 작업의 단계별 성공 기준
모든 단계에서 해당 단계를 실패로 처리하기 전에 세 번 재시도할 수 있도록 합니다. 로봇이 10초 넘게 움직이지 않는 경우도 실패로 처리합니다.
- 노란색 테이프 집기: 로봇은 다음 단계가 시작되기 전에 노란색 테이프를 잡아 떨어뜨리지 않고 테이블에서 완전히 들어 올려야 합니다.
- 전달: 로봇은 노란색 테이프를 떨어뜨리지 않고 오른쪽 그리퍼로 성공적으로 옮겨야 합니다.
- 놓기: 로봇은 노란색 테이프를 회색 테이프 위에 떨어뜨리거나 기울어지지 않게 놓아야 합니다. 정지 상태가 안정적이어야 하며, 무게중심 전체가 회색 테이프 롤의 지지를 받아야 합니다.
자주 묻는 질문
능동 시각 고정이란 무엇인가요? 작업과 관련된 물체와 특징으로 로봇의 시선을 유도하는 학습 방식입니다.
EyeRobot 2.0은 어떤 카메라 구성을 사용하나요? 로봇 팔 사이에 장착된 고정형 스테레오 카메라 하나의 입력만 사용합니다.
EyeRobot 2.0은 손목 카메라 시스템과 비교해 어떤 성능을 보이나요? 실제 환경 시행에서 손목 카메라 시스템과 동등한 작업 성능을 보이며, 손목 카메라가 심하게 가려지는 작업에서도 높은 성능을 유지합니다.
설명된 주요 한계는 무엇인가요? 현재 프레임워크는 작업별 정책만 학습하고, 머리나 목의 움직임을 제어하지 않으며, 아직 물체 하위 수준의 시선을 학습할 수 없습니다.