4.1 상태 기반 및 고유수용감각 표현
환경을 상태 기반으로 표현하면 해석 가능성과 샘플 효율성을 확보할 수 있고, 정책을 정밀하게 학습하는 데에도 도움이 된다. 그러나 이러한 방식은 정확한 센싱과 환경 모델링에 의존하기 때문에 실제 환경으로 확장하는 데 한계가 있다. 현실에서는 이처럼 풍부한 정보가 제공되는 경우가 드물기 때문이다.
로봇 학습 분야의 여러 조사 연구는 정확한 표현을 전제로 하는 학습 방식이 비구조화된 환경에서 어려움을 겪는다고 지적한다. 이런 환경에서는 상태 정보가 불확실하거나 일부만 관측되는 경우가 많다.
4.2 로봇 학습을 위한 시각적 표현
2D 표현은 로봇에 환경에 대한 고수준 정보를 제공할 수 있지만, 깊이 추정치와 공간 구조, 시간적 특징을 충분히 모델링하지 못한다. 이러한 정보는 이후의 로봇 학습 과제에 중요한 단서가 될 수 있다. 따라서 로봇이 주변을 더 정확히 인지하고 이해할 수 있도록 추가 시점과 다양한 센싱 모달리티를 통합할 필요가 있다.
4.3 다중 시점 표현
단일 시점이나 카메라의 정보만 인코딩하는 2D 표현과 달리, 다중 시점 표현은 여러 카메라 시점에서 얻은 시각 정보를 통합한다. 이를 통해 단일 시점 인지에서 발생하는 표현의 모호성을 줄일 수 있다.
다중 시점 표현에 관한 초기 연구는 능동적인 시점 선택과 카메라 움직임이 가려진 환경의 일부를 드러내 시각적 이해를 크게 향상한다는 사실을 보여주었다. 이러한 결과는 로봇 학습에 고정형 카메라와 이동형 카메라를 함께 활용하는 계기가 되었다.
최근 로봇 학습의 다중 시점 학습 방식은 공유 인코더를 사용해 각 시점의 시각 정보를 개별적으로 처리한 뒤, 어텐션 기반 융합을 통해 서로 다른 시점의 정보를 결합한다.
트랜스포머는 이 작업에 특히 적합하다. 셀프 어텐션을 활용하면 시점 간 대응하는 특징을 연결하고, 서로 다른 시점의 공간적 일관성을 추론할 수 있기 때문이다. 그 결과 카메라 배치에 덜 민감한 잠재 표현을 학습할 수 있으며, 실제 배치 환경에서 정책의 강건성과 일반화 성능도 향상된다.
5. 로봇 학습을 위한 비전-언어-행동 모델
이 절에서는 서로 다른 비전-언어 표현을 로봇 행동과 어떻게 연결하는지에 초점을 두고 아키텍처 패러다임을 살펴본다. 다양한 VLA 계열에서 이 연결 방식은 행동을 어떻게 표현하는지, 행동 예측을 어떻게 학습하는지, 시간적 구조를 어떻게 반영하는지, 그리고 로봇 형태에 따른 제약과 피드백 또는 물리적 기반성을 어떻게 다루는지에 따라 달라진다.
생성 모델링 기법, 특히 확산 모델과 플로 매칭은 VLA 프레임워크에서 행동을 생성하는 강력한 도구로 부상했다.
앞선 절에서 소개한 2D, 3D, 시공간 표현은 최신 로봇 학습 시스템의 설계에 영향을 주며 성능 향상에도 기여한다.
7.1 향후 방향
궁극적으로 로봇 학습의 목표는 관측을 행동으로 매핑하거나 그럴듯한 미래를 예측하는 시스템을 만드는 데 그치지 않는다. 세계에 대한 내부 모델을 형성하고, 불확실성과 변화를 추론하며, 과제를 효과적으로 수행하는 동시에 환경의 근본적인 구조에 물리적으로 기반을 둔 방식으로 행동하는 자율 에이전트를 개발하는 것이 목표다. 이러한 에이전트는 실제 세계에서 사람을 지원할 수 있어야 한다.
이를 실현하려면 개별 구성 요소의 성능을 높이는 데서 벗어나 구성 요소들이 서로 어떻게 상호작용하는지 이해해야 한다. 또한 고립된 벤치마크의 성능을 최적화하는 데서 나아가, 열린 세계에서 안정적으로 작동할 수 있는 시스템을 설계해야 한다.
이러한 관점에서 이해와 행동, 추론의 통합은 미래 시스템에 있으면 좋은 특성에 그치지 않는다. 확장 가능하고 범용적인 로봇 학습으로 나아가기 위해 반드시 거쳐야 할 단계다.
자주 묻는 질문
실제 환경에 배치할 때 상태 기반 로봇 표현을 제한하는 요인은 무엇인가? 정확한 센싱과 환경 모델링에 의존한다는 점이다. 실제 환경에서는 이러한 풍부한 정보가 제공되는 경우가 드물다.
다중 시점 표현이 로봇 학습에 유용한 이유는 무엇인가? 여러 시점의 정보를 결합해 단일 시점 인지의 모호성을 줄이고, 가려진 환경의 일부를 드러낼 수 있기 때문이다.
트랜스포머는 다중 시점 학습을 어떻게 지원하는가? 셀프 어텐션을 통해 시점 간 대응하는 특징을 연결하고 공간적 일관성을 추론하도록 돕는다.
통합 로봇 학습의 궁극적인 목표는 무엇인가? 실제 세계를 이해하고 추론하며 효과적으로 행동하는 동시에, 물리적 환경의 구조에 기반을 둔 자율 에이전트를 개발하는 것이다.