최근 로봇공학 연구팀이 발표한 논문은 서로 다른 수학적 공간(예: 로봇의 관절 구성 공간과 작업 공간)의 대칭성을 조합하는 방법을 소개합니다. 이를 통해 로봇이 더 적은 예제로 더 잘 학습할 수 있습니다. 공간 간 대칭을 전이함으로써, 이 접근법은 샘플 효율성과 일반화 능력을 획기적으로 향상시켰으며, 시뮬레이션과 실제 듀얼암 휴머노이드 플랫폼에서 테스트되었습니다.
목차
연구진이 개발한 것
대칭은 로봇공학 곳곳에 존재합니다. 로봇의 왼팔은 오른팔과 대칭이고, 조이스틱을 돌리면 손목이 같은 움직임을 보이며, 어떤 각도에서 컵을 집는 것도 본질적으로 같은 기술입니다. 수학적으로 이러한 대칭은 서로 다른 '공간'에 존재합니다. 로봇의 관절 구성 공간(예: 팔의 모든 가능한 각도)과 작업 공간(예: 세계에서의 엔드 이펙터 위치)입니다. 연구팀은 서로 다른 공간의 대칭을 조합하는 형식적 프레임워크를 구축하여, 로봇이 한 공간에서 학습한 대칭을 다른 공간에서의 학습 가속화에 재사용할 수 있도록 했습니다.
이 방법론은 시뮬레이션된 평면 듀얼암 로봇이 문자를 쓰는 작업과 실제 듀얼암 휴머노이드 로봇 RB-Y1이 양손 협응이 필요한 작업(예: 상자 열기, 양손으로 물체 집기)을 수행하는 데 테스트되었습니다. 대칭 조건을 정책(로봇의 의사결정 네트워크)에 직접 인코딩함으로써, 로봇은 훨씬 적은 훈련 에피소드로 작업을 학습하고 새로운 위치와 방향에 더 잘 일반화할 수 있었습니다.
주요 결과
시뮬레이션 문자 쓰기 실험에서, 대칭 조건이 적용된 정책은 50회의 훈련 에피소드 후에 거의 완벽한 완료율을 보인 반면, 기준 정책은 수렴하는 데 200회 이상의 에피소드가 필요했습니다. 복잡한 문자 'R'과 'S'의 성공률은 관절 공간과 작업 공간의 대칭을 조합했을 때 약 60%에서 95% 이상으로 향상되었습니다.
실제 RB-Y1 휴머노이드에서는 이 방법을 통해 로봇이 팔당 10회의 시연만으로 양손 상자 열기 작업을 학습할 수 있었습니다. 반면, 대칭을 사용하지 않은 기준 방법은 50회의 시연 후에도 작업을 안정적으로 완료하지 못했습니다. 새로운 물체 위치와 방향에 대한 테스트에서 대칭 조합 정책은 추가 훈련 없이 일반화된 반면, 기준 방법은 40% 이상의 시행에서 실패했습니다. 이러한 결과는 구성 공간과 작업 공간 간의 대칭 전이가 샘플 효율적이며 환경 변화에 강건함을 확인시켜 줍니다.
작동 원리
이 방법은 미분기하학과 군론에 기반합니다. 로봇의 몸체와 작업에는 자연스러운 대칭(예: 좌우 반사, 축 회전)이 있습니다. 각 대칭은 특정 공간(구성 공간 또는 작업 공간)에 작용하는 수학적 군을 형성합니다. 핵심 통찰은 이러한 군 작용을 공간 간에 조합하는 것입니다. 예를 들어, 구성 공간의 좌우 대칭은 로봇의 기구학이 매핑을 변경하기 때문에 작업 공간의 좌우 대칭에 직접 대응하지 않습니다. 연구진은 로봇의 순기구학을 사용하여 구성 공간의 대칭을 작업 공간으로 '들어 올리거나', 반대로 작업 공간 대칭을 구성 공간으로 '내려 투영'하는 방법을 도출했습니다.
이렇게 조합된 대칭은 강화 학습 정책을 조건화하는 데 사용됩니다. 훈련 중에 정책 네트워크는 조합된 대칭 군에 대해 동변량(equivariant)인 행동을 출력하도록 설계됩니다. 즉, 상태에 대칭 변환을 적용하면 행동도 그에 따라 변환됩니다. 이는 변환된 궤적을 샘플링하는 간단한 데이터 증강 단계를 통해 달성되지만, 저자들은 향후 연구에서 동변량을 신경 아키텍처에 직접 내장할 수 있다고 언급합니다. 그 결과, 분석적으로 포착할 수 있는 불변성에 용량을 낭비하지 않기 때문에 정책이 더 빠르게 학습됩니다.
실제로 연구팀은 대칭 조건이 적용된 입력을 사용하는 표준 심층 Q-네트워크(DQN)를 사용했습니다. 듀얼암 로봇의 상태 벡터에는 관절 각도와 엔드 이펙터 위치가 포함되었습니다. 대칭 조합은 각 상태-행동 쌍에 조합된 군 변환을 적용하여 추가 훈련 데이터를 생성하는 데 사용되었으며, 이는 효과적으로 데이터셋 크기를 배가시켰습니다. 이 간단한 플러그 앤 플레이 방식은 기본 RL 알고리즘을 변경할 필요 없이 데이터 증강 단계만 수정하면 됩니다.
로봇공학에서의 의의
실제 로봇을 배치하는 모든 사람에게 샘플 효율성은 중요합니다. 듀얼암 휴머노이드에게 문 열기나 부품 조립을 가르치려면 일반적으로 수백 또는 수천 번의 인간 시연이 필요하며, 이는 비용이 많이 들고 느립니다. 교차 공간 대칭 조합은 이 요구 사항을 한 자릿수로 줄여, 복잡한 양손 작업을 소수의 예제만으로 가르칠 수 있게 만듭니다.
또한 이 방법은 모델에 구애받지 않습니다. 표준 강화 학습 또는 모방 학습 알고리즘과 함께 작동하므로, 기존에 배치된 로봇도 훈련 중에 대칭 조건 데이터 증강을 추가하기만 하면 업그레이드할 수 있습니다. 이 접근법은 휴머노이드뿐만 아니라 알려진 기구학을 가진 모든 로봇에 적용 가능합니다. 대칭 그리핑 암을 가진 창고 로봇이나 반복 조립 작업을 수행하는 산업용 로봇에도 적용될 수 있습니다. 대칭과 같은 물리적 사전 지식을 학습 과정에 직접 인코딩함으로써 로봇은 더 데이터 효율적이 되고 새로운 구성에 더 잘 일반화되며, 이는 산업 자동화의 핵심 병목입니다.
한계와 과제
현재 구현은 완전한 동변량 신경 아키텍처가 아닌 데이터 증강에 의존하므로, 정책은 약한 동변량만을 가집니다. 즉, 변환된 샘플을 보지만 대칭이 내부 가중치에 내장되지는 않습니다. 이는 귀납적 편향의 강도를 제한합니다. 또한, 사용자가 각 로봇과 작업에 대해 대칭 군을 수동으로 지정해야 하므로 엔지니어링 오버헤드가 추가됩니다. 데이터로부터 대칭을 자동으로 발견하는 것이 중요한 진전이 될 것입니다.
실험은 단일 작업 학습에 초점을 맞추었으며, 대칭 군 간의 다중 작업 전이는 아직 탐구되지 않았습니다. 마지막으로, 이 접근법은 로봇의 기구학이 정확히 알려져 있다고 가정합니다. 유연한 관절이나 알려지지 않은 동역학을 가진 로봇의 경우 대칭 매핑이 부정확할 수 있습니다.
자주 묻는 질문
'교차 공간 대칭 조합'이란 무엇인가요? 좌우 반사와 같은 대칭을 로봇의 관절 공간에서 작업 공간으로 또는 그 반대로 전이하는 수학적 연산입니다. 이를 통해 로봇이 회전 또는 반사 지식을 서로 다른 영역에서 재사용할 수 있습니다.
특별한 하드웨어가 필요한가요? 아니요. 이 방법은 모든 표준 로봇에서 작동합니다. 연구팀은 RB-Y1 듀얼암 휴머노이드에서 검증했지만, 필요한 것은 대칭 매핑을 계산하기 위한 로봇의 순기구학뿐입니다.
샘플 효율성이 얼마나 향상되나요? 시뮬레이션에서 대칭 조건 정책은 표준 기준선과 동일한 성공률을 1/4의 훈련 에피소드로 달성했습니다. 실제 로봇에서는 기준선이 5배 더 많은 시연으로도 학습할 수 없는 작업을 성공적으로 학습했습니다.
기존 RL 코드와 함께 사용할 수 있나요? 네. 저자들은 이를 데이터 증강 래퍼로 구현했습니다. 상태-행동 쌍에 조합된 대칭 변환을 적용하고 변환된 샘플을 리플레이 버퍼에 포함시키면 됩니다. 핵심 RL 알고리즘을 변경할 필요가 없습니다.
결론
교차 공간 대칭 조합은 로봇 학습에 물리적 지식을 주입하는 원리적이고 실용적인 방법을 제공하며, 양손 조작 작업에 필요한 시연 횟수를 획기적으로 줄입니다. 구성 공간과 작업 공간 대칭 간의 격차를 메움으로써, 이 방법은 인간의 예제로부터 효율적으로 학습하는 로봇에 한 걸음 더 가까이 다가서게 합니다. 이는 제조 및 서비스 애플리케이션에서의 광범위한 배포를 위한 핵심 요구 사항입니다.
자동 대칭 발견이 실제 로봇 배포에서 엔지니어링 부담을 어떻게 줄일 수 있을까요?
이 글은 arXiv 논문 2605.22639를 기반으로 합니다.