휴머노이드 로봇, 자율적으로 문을 열고 장애를 극복하며 물체를 분류하다

재사용 가능한 행동 시스템을 적용한 휴머노이드 로봇이 문으로 다가가 문을 열고, 사람이 문을 막거나 당기는 상황에서도 동작을 회복하며, 테이블 사이에서 색깔 공을 분류했다. IHMC의 Alex에서 테스트하고 여러 휴머노이드 플랫폼에 적용된 이 시스템은 온보드 인식, 객체 기준 동작, 행동 트리 로직, 전신 제어를 결합한다. 덕분에 전문가는 모든 상황을 하드코딩하지 않고도 행동을 빠르게 작성할 수 있다.

목차

• 연구진은 무엇을 만들었나?
• 핵심 결과는 무엇이었나?
• 휴머노이드 로봇 시스템은 어떻게 작동하나?
• 이 연구가 로보틱스에 중요한 이유는 무엇인가?
• 한계와 앞으로 풀어야 할 과제는 무엇인가?
• 자주 묻는 질문은 무엇인가?
• 결론은 무엇인가?

연구진은 무엇을 만들었나?

연구진은 같은 작업을 수행하는 동안 보행과 물체 조작을 하고, 변화하는 조건에도 대응할 수 있는 휴머노이드 로봇용 소프트웨어 아키텍처를 구축했다. 문 열기는 주요 벤치마크로 활용됐다. 문을 열려면 적절한 위치까지 걸어가고, 손잡이를 식별하고, 팔을 뻗어 잡은 뒤, 손잡이를 돌리거나 밀고, 문을 움직인 다음, 충돌 없이 열린 공간을 통과해야 하기 때문이다.

이 시스템은 문 하나를 여는 단일 스크립트가 아니다. 행동 트리로 구성된 재사용 가능한 행동 라이브러리다. 행동 트리는 구조화된 의사결정 지도와 같다. 한 가지 분기에서는 동작을 시도하고, 다른 분기에서는 실패를 처리하며, 환경이 바뀌면 조건에 따라 로봇의 경로를 바꿀 수 있다. 라이브러리에는 보행, 팔, 골반, 척추, 목, 손, 다리, 대기, 나사 운동 동작이 포함된다.

핵심 설계 중 하나는 객체가 제공하는 ‘어포던스’, 즉 활용 가능한 행동 가능성을 이용하는 것이다. 손잡이는 돌릴 수 있고, 바닥은 걸을 수 있으며, 출입구는 통과할 수 있다. 행동은 로봇의 고정된 위치가 아니라 이러한 객체를 기준으로 작성된다.

이 아키텍처는 DARPA Robotics Challenge 시기의 Boston Dynamics Atlas, Unitree H1-2, IHMC Alex에 적용됐다. 주요 시연은 외부 추적 시스템이나 기준 마커 없이, 온보드 스테레오 컬러·깊이 비전을 사용하는 Alex에서 진행됐다.

핵심 결과는 무엇이었나?

보고된 테스트에서 시스템은 반복적인 문 접근 및 열기 실험을 한 번도 실패하지 않고 완료했다. 밀어서 여는 문은 11회 중 11회, 당겨서 여는 문은 12회 중 12회 성공했다.

이 결과는 출입구를 완전히 통과한 것이 아니라 문에 접근해 여는 동작만 측정한 것이다. 연구진은 해당 테스트에서 보행 제어기가 충분히 안정적이지 않았고, 하드웨어를 손상시키는 실패가 발생하면 평가를 중단해야 했기 때문에 전체 통과 실험을 반복하지 않았다.

회복 능력을 보여준 실험은 더 동적이었다. 왼쪽으로 당기는 문을 통과하는 동안 한 사람이 로봇 반대쪽으로 문을 네 차례 잡아당겼고, 다른 방해물 하나가 잠시 출입구를 막았다. 로봇은 문 열기가 실패했음을 감지하고 통로가 비워질 때까지 기다린 뒤, 다섯 차례의 방해를 모두 겪으면서 65초 만에 실험을 완료했다.

공 분류 행동도 사람이 실행 중에 환경을 바꾸는 상황을 처리했다. 로봇은 17.8초에 집기 실패를 감지하고 배치 동작을 포기한 뒤 탐색 단계로 돌아갔다. 그리고 남아 있던 공 6개를 정확히 분류했다. 전체 실행 시간은 45.2초였다.

이 수치는 테스트한 시연에서 뛰어난 성능을 보여주지만, 실험 환경이 제한적이었던 만큼 범용적인 휴머노이드 자율성을 의미하지는 않는다.

휴머노이드 로봇 시스템은 어떻게 작동하나?

먼저 사람이 로봇, 환경의 객체, 기준 좌표계, 동작 순서를 보여주는 인터페이스에서 행동을 만들고 조정한다. 설정이 끝나면 행동은 저장되며, 로봇에서 인식과 제어를 수행하면서 자율적으로 실행할 수 있다. 저장 파일에는 반올림한 거리와 각도처럼 읽기 쉬운 값이 사용되지만, 행동을 작성하는 주된 도구는 여전히 이 인터페이스다.

실행 중 시스템은 로봇, 문, 손잡이, 문짝, 테이블, 공 등 관련 객체가 포함된 환경 모델을 유지한다. YOLO와 FoundationPose 같은 인식 모델이 이 환경 모델을 채울 수 있다. 이후 행동은 감지된 객체의 좌표계를 이용해 어디로 걸어갈지, 손을 어디에 둘지, 동작이 성공했는지를 판단한다.

객체 중심 동작은 이 설계의 핵심이다. 로봇에게 방 안의 고정된 위치로 손을 움직이라고 지시하는 대신, 현재 인식된 손잡이를 기준으로 손의 자세를 정의한다. 균형이나 발 디딤 오차 때문에 로봇이 약간 다른 자세로 멈추더라도 손잡이를 다시 인식해 잡는 위치를 재계산할 수 있다. 각 단계에서 다음 동작의 기준을 다시 객체에 맞추므로, 위치 오차와 상태 추정 오차가 누적되는 것을 줄인다.

시스템은 파생 기준 좌표계도 생성한다. 접근 좌표계는 로봇을 대상에서 안전한 거리에 배치하고 대상 쪽을 향하게 한다. 하이브리드 좌표계는 한 객체에서 위치를, 다른 객체에서 방향을 가져올 수 있다. 이를 이용하면 로봇이 열린 문에 접근하면서도 출입구에 맞는 정렬을 유지할 수 있다.

전신 제어기가 행동 요청을 실행한다. 선형 운동량 제어와 전신 역동역학을 이용해 발 디딤과 상체 궤적을 결합하므로, 로봇은 팔·골반·척추·손을 조율하면서 걸을 수 있다.

반응형 로직은 조건 노드에서 나온다. 중요한 조건 노드 중 하나는 가상 구 또는 캡슐 안에 충분한 깊이 점이 포함돼 있는지 확인하며, 필요하면 특정 색상 범위도 요구한다. CUDA 구현은 일반적으로 이 검사를 10밀리초 이내에 완료한다. 같은 메커니즘으로 열린 문짝, 출입구를 막은 사람, 로봇 손에 든 색깔 공을 감지할 수 있어, 취약한 의미 인식에 전적으로 의존하지 않아도 된다.

이 연구가 로보틱스에 중요한 이유는 무엇인가?

휴머노이드 로봇에는 인상적인 하드웨어나 단편적인 동작 시연만으로는 부족하다. 실제 배치에 활용하려면 전문가의 지식을 반복 가능한 행동으로 바꾸고, 환경이 변했을 때 회복하며, 문이나 물체 또는 시작 자세가 달라질 때마다 엔지니어가 작업 전체를 다시 만들지 않아도 돼야 한다.

이 아키텍처는 재사용 가능한 작업 구성 요소를 통해 이러한 개발 병목을 해결한다. 감지한 문 특성에 따라 밀기·당기기, 왼손·오른손 변형 중 하나를 선택할 수 있다. 같은 기본 동작 유형은 문을 지나 병을 운반하거나 테이블 사이에서 물체를 분류하는 데도 활용할 수 있다.

현재 휴머노이드 시스템이 개발되는 방식에서 사람과 시스템이 역할을 나누는 접근법 역시 현실적이다. 엔지니어가 상위 수준의 순서와 회복 로직을 작성하면, 온보드 인식과 제어기가 실행을 담당한다. 모든 반응을 맞춤형 단일 프로그램으로 만드는 것보다 새로운 행동을 구현하는 시간을 줄일 수 있는 방식이다.

구매 담당자와 운영 관리자에게 중요한 점은 단일 문 열기 점수가 아니라 적응성이다. 재사용 가능한 이동·조작 소프트웨어를 갖춘 플랫폼은 문, 테이블, 손잡이, 좁은 통로처럼 사람을 위해 설계된 시설에서도 작업할 가능성이 있다. 상용 플랫폼을 평가하는 팀은 Robot Overflow에서 휴머노이드 로봇을 살펴보고 이러한 행동을 뒷받침하는 하드웨어 역량을 비교할 수 있다.

물류 분야에서는 객체 기준 조작과 반응형 환경 점검이라는 동일한 접근법이 재고와 사람의 이동이 계속 바뀌는 환경에서 작동하는 로봇 설계에 참고가 될 수 있다. 이 작업이 곧바로 창고 배치를 의미하는 것은 아니지만, 설계 원칙은 창고 로봇에 적용할 수 있다.

한계와 앞으로 풀어야 할 과제는 무엇인가?

가장 높은 신뢰도를 보인 수치는 출입구를 완전히 통과한 결과가 아니라 문에 접근해 연 결과다. 연구진은 보행 성능이 충분히 안정적이지 않았고 로봇이 손상될 가능성도 있었기 때문에 반복적인 전체 통과 실험을 중단했다고 명시했다.

또한 반복 실험은 같은 날 밤, 동일한 실험실 문을 대상으로 진행됐다. 따라서 손잡이 형태, 문 무게, 문턱, 조명 조건, 주변 장애물, 건물 구조가 달라졌을 때의 성능은 여전히 확인되지 않았다. 시스템은 여러 휴머노이드 플랫폼을 지원하지만, 보고된 실험은 주로 Alex와 정해진 6가지 작업 변형을 사용했다.

이 아키텍처는 전문가가 작성한 행동, 임계값, 기준 좌표계, 대체 경로 로직에 의존한다. 프로그래밍 부담을 줄여주기는 하지만 숙련된 설정 작업을 없애지는 못한다. 앞으로는 행동 작성 시간, 로봇과 건물 간 전이 성능, 장기 신뢰성, 통제되지 않은 환경에서 인식이 실패할 때의 행동 성능을 측정해야 한다.

자주 묻는 질문은 무엇인가?

완전히 자율적인 휴머노이드 로봇 시스템인가?

행동을 작성하고 설정한 뒤에는 인식과 제어를 로봇 내부에서 자율적으로 실행할 수 있다. 다만 행동을 만들고 조정하며 회복 전략을 설계하는 과정에는 여전히 사람의 전문성이 필요하다.

대규모 언어 모델로 로봇을 제어하나?

설명된 아키텍처의 중심에는 행동 트리, 어포던스 템플릿, 인식, 전신 제어가 있다. 원문은 대규모 언어 모델을 작업 제어기로 사용한다고 설명하지 않는다.

객체 중심 동작이 중요한 이유는 무엇인가?

객체 중심 동작은 고정된 방 좌표가 아니라 손잡이나 문짝 같은 객체를 기준으로 동작을 정의한다. 따라서 다음 동작을 실행하기 전에 로봇이 자세, 균형, 상태 추정에서 발생한 작은 오차를 보정할 수 있다.

문 열기 외의 작업도 처리할 수 있나?

그렇다. 시연에는 문을 통과하며 병을 운반하는 작업과 한 테이블 또는 두 테이블 사이에서 색깔 공을 분류하는 작업이 포함됐다. 재사용 가능한 동작 및 환경 프레임워크는 더 폭넓은 이동·조작 작업을 목표로 한다.

결론은 무엇인가?

이 시스템은 전문가가 작성한 행동 트리, 객체 기준 동작, 빠른 기하학적 인식, 전신 제어를 결합해 휴머노이드 로봇이 실용적인 다단계 작업을 수행할 수 있음을 보여준다. 가장 중요한 기여는 회복과 재사용을 지원하는 적응형 소프트웨어 기반을 제시했다는 점이다. 다만 더 다양한 환경과 한층 안정적인 보행은 여전히 반드시 검증해야 할 과제로 남아 있다.