연구진이 일상적인 관절형 물체를 조작하는 로봇의 성능을 크게 높이는 운동학 인식 인터페이스 KAI를 개발했다. KAI는 물체의 각 부분이 어떻게 움직이는지(힌지 회전, 서랍의 직선 이동)를 명시적으로 표현한다. 이 방법은 다양한 작업에서 평균 82.9%의 성공률을 달성했으며, 기존 방법의 절반에 해당하는 시연 데이터만으로도 학습할 수 있고, 물체가 뒤섞인 실제 환경에도 안정적으로 일반화된다.
목차
연구진이 개발한 것
CUHK-SenseTime Joint Lab 연구팀은 원시 카메라 영상과 로봇 제어 정책 사이에서 구조화된 중간 계층 역할을 하는 Kinematic-Aware Articulation Interface, 즉 KAI를 개발했다. 로봇이 노트북이나 서랍 같은 물체를 보면 KAI의 신경망은 단순히 어디를 잡아야 하는지만 예측하지 않는다. 서랍에 해당하는 프리즈매틱 운동인지, 문에 해당하는 회전 운동인지처럼 물체가 어떤 움직임을 지원하는지와 현재 관절 상태(얼마나 열리거나 닫혔는지)까지 정확히 예측한다. 이렇게 얻은 운동학 정보는 확산 기반 정책에 입력되어 정밀한 로봇 동작을 생성한다.
핵심 설계 중 하나는 KAI가 행동에 구애받지 않는다는 점이다. 즉, 운동을 이해하기 위해 특정 로봇의 시연 데이터가 필요하지 않다. 덕분에 HOI4D 같은 공개 데이터셋의 인간 상호작용 영상을 활용해 로봇 시연 없이도 동일한 운동학 표현을 공동 학습할 수 있다. 그 결과, 하나의 정돈된 환경에서만 학습해도 관절형 물체의 물리적 특성을 이해하는 정책이 만들어지며, 주변이 어수선하거나 테이블 질감이 다르고 근처에 다른 물체가 있는 환경으로도 전이된다.
주요 결과
시뮬레이션에서 KAI는 표준 벤치마크를 사용해 6가지 관절형 물체 작업(서랍 열기, 문 열기, 노트북 열기, 노트북 닫기, 전자레인지 열기, 전자레인지 닫기)을 평가받았다. 주요 수치는 다음과 같다.
- 평균 성공률 82.9% — 동영상 공동 학습을 사용하지 않아도 모든 기준선(RVT-2, ACT, DP)을 앞섰다.
- 필요 데이터 절반 — 시연 데이터의 50%만으로도 기준선과 같거나 더 나은 성능을 달성했다.
- 절대 성능 40.6%p 향상 — 저데이터 조건(서랍 작업에서 시연 5개)에서 가장 우수한 기준선보다 높았다.
- 공동 학습 시 84.6% — 인간 상호작용 영상을 추가하면 시뮬레이션에서는 소폭 향상(도메인 차이로 상승 폭 제한)에 그쳤지만, 실제 환경에서는 크게 개선됐다.
Robotiq 그리퍼가 장착된 Franka Research 3 로봇 팔을 사용한 실제 환경 실험에서, 정돈된 실험실에서 단 100개의 시연으로 학습한 정책은 다음과 같은 결과를 보였다.
- 평균 성공률 70% 이상 — 배경과 물체 방해 요소가 있는 환경(어수선한 책상, 다양한 테이블보)에서 달성했다.
- 정돈된 환경에서 거의 완벽한 100% 성공률 — 서랍 열기 작업에서 기록했다.
- 인간 영상과의 공동 학습이 특히 유용 — 실제 환경의 어수선한 조건에서 효과가 컸으며, 시뮬레이션보다 인간의 손과 로봇 그리퍼 사이의 도메인 차이가 작았기 때문이다.
작동 방식
KAI는 인식과 제어 사이에서 명시적인 중간 표현으로 기능한다. 전체 파이프라인은 세 단계로 구성된다.
- 시각 인코더 — ResNet-50이 한 대 또는 두 대의 카메라에서 얻은 RGB-D 이미지를 입력받아 픽셀 특징을 추출한다.
- 운동학 예측 헤드 — 경량 트랜스포머가 각 물체 인스턴스에 대해 세 가지를 출력한다. (a) 이진 관절 운동 유형(프리즈매틱/회전), (b) 현재 관절 위치(0~1로 정규화), (c) 조작 가능한 위치를 나타내는 어포던스 히트맵이다.
- 확산 정책 — 조건부 확산 모델이 KAI 특징(로봇 상태와 결합)을 입력받아 10Hz로 웨이포인트 동작을 생성한다.
운동학 예측은 유형에 간단한 교차 엔트로피 손실을, 관절 상태에 L1 손실을 적용해 학습한다. 동일한 예측 헤드가 모든 관절형 물체에 적용되므로 물체마다 다시 학습할 필요가 없다.
시뮬레이션 벤치마크 결과(6개 작업 평균):
| 방법 | 성공률 | 필요한 데이터 |
|---|---|---|
| RVT-2 | 52.8% | 전체(시연 50개) |
| ACT | 34.5% | 전체 |
| DP (Diffusion Policy) | 28.7% | 전체 |
| KAI (ours) | 82.9% | 절반(시연 25개) |
| KAI + 동영상 | 84.6% | 절반 + 인간 동영상 500개 |
핵심은 운동학을 명시적으로 모델링함으로써 KAI가 강력한 귀납적 편향을 제공하고, 학습에 필요한 표본 수를 줄인다는 점이다. 정책은 서랍이 직선으로 미끄러져 열린다는 사실을 처음부터 다시 배울 필요가 없다. KAI가 이미 알려주기 때문이다.
로봇공학에서 중요한 이유
일상적인 조작은 여전히 로봇공학에서 가장 어려운 문제 중 하나다. 문, 수납장, 서랍은 가정과 창고, 공장 어디에나 존재한다. 현재의 모델은 수백 개의 시연을 필요로 하거나 시각적으로 복잡한 환경에서 실패하는 경우가 많다. 물체의 물리적 특성을 학습 파이프라인에 내장하는 KAI의 접근법은 최소한의 재학습만으로 새로운 환경에 적응하는 로봇을 구현할 실용적인 경로를 제시한다.
창고와 산업 현장에서는 로봇을 더 빠르게 배치하고 선반 구성이나 조립 작업장의 변화를 처리할 수 있다는 의미다. 데이터 효율성은 특히 학습 기반 제어를 도입하는 중고 산업용 로봇과 관련이 깊다. 시연 횟수가 줄어들면 초기 설정 비용도 낮아지기 때문이다.
인간 영상과의 공동 학습은 YouTube나 교육 콘텐츠에서 학습하는 길도 열어준다. 값비싼 원격 조작의 필요성을 줄일 수 있는 셈이다. 현재 플랫폼은 Franka 로봇 팔이지만, 이 방법은 특정 로봇 구조에 종속되지 않으며 수납장과 가전제품을 다뤄야 하는 휴머노이드 로봇이나 코봇에도 적용할 수 있다.
한계와 남은 과제
두 가지 주요 한계가 눈에 띈다. 첫째, 실험한 모든 작업이 짧은 시간 범위의 단일 단계 조작(예: 서랍 열기)이었다. 식기세척기에서 식기를 꺼내거나 가구를 조립하는 등 현실의 많은 작업은 여러 관절 운동을 순서대로 수행해야 한다. KAI를 장시간 범위의 작업으로 확장하는 것은 아직 해결되지 않은 과제다.
둘째, 실제 환경 실험에는 Franka Research 3 한 종류의 로봇만 사용됐다. 운동학 인터페이스의 설계는 다른 로봇 팔에도 전이될 가능성이 있지만, 아직 검증되지 않았다. 그리퍼의 종류, 카메라 배치, 로봇의 운동학이 달라지면 성능에 영향을 줄 수 있다.
또 하나 주목할 점은 공동 학습의 효과가 시뮬레이션과 실제 환경에서 비대칭적으로 나타났다는 것이다. 시뮬레이션에서는 도메인 불일치 때문에 인간 동영상 공동 학습의 효과가 +1.7%에 그친 반면, 실제 환경에서는 훨씬 컸다. 인간 영상이 언제, 왜 도움이 되는지 이해하는 일은 여전히 활발한 연구 주제다.
자주 묻는 질문
KAI는 정확히 무엇인가? KAI는 카메라 영상으로부터 물체의 관절 운동 유형(힌지 또는 슬라이드)과 현재 관절 각도를 예측한 뒤, 이 정보를 로봇 제어 정책에 전달하는 신경망 모듈이다.
KAI는 다른 방법과 비교해 얼마나 많은 데이터가 필요한가? KAI는 ACT와 RVT-2 같은 최신 방법과 같거나 더 나은 성능을 시연 데이터 절반만으로 달성한다. 예를 들어 시뮬레이션에서는 시연 50개 대신 25개만 사용한다.
KAI가 운동학을 학습하려면 로봇 시연이 필요한가? 아니다. KAI는 행동에 구애받지 않으므로 인간 상호작용 영상만으로도 물체의 움직임을 이해하는 법을 학습할 수 있다. 이후 로봇 데이터와 공동 학습하면 제어 성능을 더 높일 수 있다.
어떤 실제 환경 작업을 시험했는가? 서랍 열기, 노트북 닫기, 전자레인지 닫기를 시험했다. 테이블 질감의 변화와 주변의 어수선함 같은 시각적 방해 요소가 있는 환경에서도 70% 이상의 성공률을 기록했다.
결론
KAI는 운동학적 제약을 명시적으로 표현하는 것이 관절형 물체를 적은 데이터로 조작하는 강력한 전략임을 보여준다. 더 적은 시연만으로 학습하고 어수선한 실제 환경에도 일반화하는 이 접근법은 인간 생활공간에 존재하는 다양한 문, 서랍, 가전제품을 다룰 수 있는 로봇에 한 걸음 더 다가가게 한다.