최근 발표된 논문은 로봇의 시각적 변화를 하나의 결정론적 값이 아닌 확률적 가우시안 분포로 모델링하는 방법인 DLAM(Distributional Latent Actions with Temporal Constraints)을 소개한다. 이를 통해 로봇의 행동이 관측 결과를 어떻게 바꿀지에 내재된 불확실성을 포착할 수 있으며, 그 결과 실제 제어 작업에서 더 정확한 예측과 향상된 후속 성능을 기대할 수 있다.
목차
연구진이 개발한 것
DLAM은 로봇이 블록을 한 위치에서 다른 위치로 미는 것과 같은 시각적 전이 시퀀스를 대각 가우시안 분포를 따르는 확률적 잠재 벡터로 변환하는 표현 학습 프레임워크다. 기존 연구는 결정론적 잠재 행동을 사용했기 때문에 결과의 모호성이나 변동성에 관한 정보를 잃었다. 반면 DLAM은 각 전이에 대해 평균과 차원별 분산을 함께 학습해 변화의 각 특징을 얼마나 확신할 수 있는지 표현한다.
핵심적인 차별점은 평균과 분산 모두에 두 종류의 시간적 제약을 적용한다는 데 있다. 합성 제약은 연속된 두 잠재 행동의 합이 전체 전이의 잠재 행동과 일치하도록 만들고, 역변환 제약은 행동의 역방향이 동일한 크기의 반대 잠재 행동을 생성하도록 한다. 이 제약은 동일한 시간 간격으로 정규화한 세 관측값 묶음에 적용되므로, 결정론적 방법보다 풍부한 학습 신호를 제공한다. 실제 로봇 제어에서는 인코더를 고정하고 평균 잠재 행동만 로봇 관절 명령을 함께 입력받는 플로 매칭 정책에 전달한다. 따라서 기존 정책 아키텍처를 바꾸지 않고도 표현을 통해 성능을 개선할 수 있다.
주요 결과
실험에서는 시뮬레이션과 실제 로봇 작업에서 DLAM을 여러 기준선 모델과 비교했다. 잠재 행동으로 관측된 시각적 변화를 얼마나 잘 재생성하는지를 나타내는 복원 품질은 일반적인 스케일 정규화 프로브를 사용해 측정했다. 전체 제약, 즉 평균과 분산을 함께 사용하고 정규화된 합성 및 역변환 제약을 적용한 DLAM이 직접 복원과 누적 복원 충실도 모두에서 가장 높은 성능을 보였다. 통제된 절제 실험에서는 정규화된 평균 제약이 성능 향상의 주된 요인으로 나타났으며, 학습된 분산과 상관관계를 고려한 합성은 후속 정책 성능을 추가로 높였다.
고정된 인코더가 사후 평균 전이 시퀀스만 보조 플로 매칭 목표로 제공하는 정책 전이 실험에서도 DLAM은 결정론적 잠재 행동 모델을 일관되게 앞섰다. 전체 구성은 더 나은 관계적 진단 결과도 보였다. 즉, 분산 학습을 제외하거나 정규화되지 않은 제약을 사용한 변형 모델보다 잠재 공간이 시간 구조를 더 잘 보존했다. 논문은 구체적인 벤치마크 수치를 공개하지 않았지만, 통제된 실험 환경에서 DLAM이 “복원 품질, 관계적 진단, 정책 전이 전반에서 최고 성능”을 달성했다고 설명한다. 특히 적층이나 페그 삽입처럼 정밀한 시각 예측이 필요한 작업에서 성능 향상이 두드러졌다.
작동 방식
DLAM은 먼저 로봇 작업 공간을 촬영한 비디오 스트림을 입력으로 받는다. 모델은 연속된 두 프레임, 즉 행동 전후의 관측을 대각 가우시안 잠재 행동으로 인코딩한다. 이 잠재 행동은 평균 벡터와 로그 분산 벡터로 구성된다. 이후 복원 디코더는 원본 프레임과 잠재 행동 분포를 입력으로 받아 목표 프레임을 재구성한다. 학습 중에는 재매개변수화 샘플을 사용한다. 손실 함수에는 복원 항과 함께 잠재 분포가 표준 가우시안 사전에 가깝도록 유지하는 KL 발산 항이 포함된다.
시간적 일관성을 확보하기 위해 DLAM은 동일한 시간 간격을 갖는 관측 세 개를 샘플링한다. 예를 들어 프레임 t, t+k, t+2k를 사용하는 식이다. 그런 다음 t에서 t+k, t+k에서 t+2k, t에서 t+2k로 이어지는 세 잠재 행동을 계산한다. 합성 제약은 앞의 두 잠재 행동의 합이 세 번째 잠재 행동과 일치하도록 한다. 이때 평균과 분산 영역 모두에 제약을 적용한다. 역변환 제약은 동일한 시각 상태에서 t에서 t+k로 가는 잠재 행동이 t+k에서 t로 돌아오는 잠재 행동의 음수가 되도록 한다. 두 제약은 간격의 크기로 정규화해 스케일에 영향을 받지 않도록 한다.
학습 중에는 분산과 평균을 함께 학습하지만, 후속 정책은 평균 벡터만 사용한다. 정책은 현재 관측과 목표 이미지를 조건으로 행동 시퀀스를 생성하는 플로 매칭 모델이다. 고정된 인코더는 평균 잠재 행동 시퀀스를 제공하며, 이 시퀀스는 로봇의 고유수용감각 데이터와 결합되어 보조 조건으로 사용된다. 그 결과 정책 아키텍처는 그대로 유지하면서도 사전 학습된 표현에서 얻은 풍부한 시간 정보를 주입할 수 있다.
로보틱스에서 중요한 이유
개방된 환경에서 작동하는 로봇은 자신의 행동이 세상을 어떻게 바꿀지 예측해야 하며, 이 과정에는 불확실성이 따르는 경우가 많다. DLAM은 이러한 불확실성을 명시적으로 포착하므로 조작, 조립, 이동과 같은 작업의 안전성과 강건성을 높일 수 있다. 또한 합성과 역변환을 강제하는 제약을 사용해 행동을 대수적으로 결합할 수 있는 잠재 공간을 학습한다. 이는 물리학에서 힘이나 속도를 다루는 방식과도 비슷하다.
판매 중인 중고 협동로봇이나 중고 산업용 로봇을 도입하는 기업이라면, 이처럼 학습된 동역학 모델을 통합해 작업을 전환할 때 필요한 실제 환경 미세 조정의 양을 줄일 수 있다. 인코더를 고정한 채 표준 정책 백엔드와 함께 사용할 수 있다는 점도 DLAM을 기존 제어 스택에 적용하기 쉽게 만든다. 또한 이 접근법은 로보틱스 파운데이션 모델이라는 broader trend와도 연결된다. 시각 데이터로 사전 학습한 표현을 활용하면 처음부터 다시 학습하지 않고도 휴머노이드 로봇이나 창고 로봇의 학습을 가속할 수 있다.
한계와 남은 과제
DLAM은 동일한 시간 간격을 갖는 관측 세 개에만 제약을 적용하므로 장기적인 시간 범위에서의 일반화 가능성은 아직 검토되지 않았다. 또한 분산 목적 함수가 시간에 따라 거의 일정한 값으로 수렴할 수 있어, 불확실성 학습의 이점이 사라질 가능성도 있다. 후속 전이에서는 분산을 버리고 사후 평균만 사용하기 때문에, 학습된 불확실성은 주로 보조 학습 신호로 기능하며 의사결정에 사용할 수 있도록 보정된 신뢰도를 제공하지는 않는다. 더불어 차원별 분산이 서로 독립이라고 가정하므로, 전체 공분산이 포착할 수 있는 맥락 의존적 또는 차원 간 의존성을 놓칠 수 있다. 향후 연구에서는 가변 시간 간격으로 제약을 확장하고, 정책 실행 과정에 불확실성을 통합하며, 구조화된 공분산 모델을 탐구할 수 있다.
자주 묻는 질문
DLAM은 모델 기반 강화학습 방법인가? 아니다. DLAM은 시간적 제약을 사용해 시각 인코더를 사전 학습하는 표현 학습 기법이다. 학습된 표현은 플로 매칭 모방학습과 같은 별도의 정책 학습 과정에 보조 입력으로 사용된다.
어떤 로봇이 DLAM의 이점을 얻을 수 있나? 행동으로 인해 발생하는 변화를 카메라로 관측할 수 있는 로봇이라면 사용할 수 있다. 시뮬레이션과 실제 조작 플랫폼에서 검증되었으므로 협동로봇, 산업용 로봇 팔, 이동형 매니퓰레이터에 적용할 가능성이 있다.
DLAM에는 정답 행동 라벨이 필요한가? 그렇다. 사전 학습 단계에서는 알려진 로봇 명령이나 상태 차이로부터 잠재 행동 시퀀스를 도출한다. 제약에는 프레임의 시간적 순서도 필요하지만, 명시적인 목표 라벨은 필요하지 않다.
DLAM은 결정론적 잠재 행동 모델과 비교해 어떤가? DLAM은 복원 품질, 시간적 일관성 진단, 후속 정책 성공률에서 결정론적 기준선 모델을 일관되게 앞선다. 특히 시각적 불확실성이 큰 작업에서 강점이 두드러진다.
결론
DLAM은 평균과 분산 모두에 합성 및 역변환 제약을 적용해 시각 관측으로부터 분포형 잠재 행동을 학습하는 체계적인 방법을 제시한다. 이렇게 얻은 표현은 정책 학습 파이프라인을 복잡하게 만들지 않으면서 복원 충실도와 후속 제어 성능을 높인다. 이 연구는 실제 환경의 변동성 속에서 작동하는 로봇을 위해 더욱 강건한 시각 동역학 모델을 개발하는 새로운 가능성을 열어준다.