고정된 시각-언어-행동(VLA) 로봇 정책은 행동 생성기를 재훈련하지 않고도 새로운 작업을 학습할 수 있습니다. 노이즈 공간 학습(Noise Space Learning, NSL)은 생성기에 입력되는 노이즈를 바꿉니다. 시뮬레이션과 실제 로봇에서 수행한 테스트 결과, 이 경량 적응 방식은 생성기를 업데이트하거나 행동 보정을 추가하는 방법과 경쟁력 있는 성능을 보이면서도 비교적 적은 그래디언트 업데이트만 필요로 했습니다. 로봇과의 상호작용에 비용이 많이 드는 상황에서 매력적인 선택지입니다.
목차
연구진은 무엇을 만들었나?
노이즈 공간 학습은 행동 생성기를 고정한 채 사전 학습된 VLA 로봇 정책을 적응시키는 방법입니다. VLA 정책은 카메라 이미지와 지시문 같은 관측을 입력받아 로봇 행동을 출력합니다. 이러한 생성기 중 다수는 행동을 만들어 내는 과정의 일부로 샘플링된 노이즈를 사용합니다. NSL은 현재 관측에 따라 노이즈를 바꾸도록 학습해, 고정된 생성기가 작업에 더 잘 맞는 행동을 내도록 유도합니다.
연구진은 이 “노이즈 액터”를 학습하는 세 가지 방법, 근접 정책 최적화(Proximal Policy Optimization, PPO), 소프트 액터-크리틱(Soft Actor-Critic, SAC), 어드밴티지 가중 회귀(Advantage-Weighted Regression, AWR)를 테스트했습니다. 모두 확립된 강화학습 방법이지만, 여기서는 VLA 자체가 아니라 노이즈 액터와 이를 지원하는 가치 모델을 업데이트합니다. 이 분리가 중요한 이유는 적응 과정에서 사전 학습된 생성기를 대상으로 역전파하거나 이를 수정할 필요가 없기 때문입니다.
이 접근법은 시뮬레이션과 실제 로봇에서 평가되었습니다. 실제 로봇 실험에서는 사람의 수정 피드백도 살펴보았으며, 이는 더 복잡한 조작 작업의 성능을 향상시켰습니다. 요컨대 NSL은 정책이 학습한 행동 생성 구조를 대체하는 대신, 기존 정책을 둘러싼 학습 가능한 제어 계층을 추가합니다.
주요 결과는 무엇이었나?
시뮬레이션과 실제 로봇 테스트 전반에서 NSL은 행동 생성기를 변경하거나 출력에 보정을 추가하는 적응 방법들과 경쟁력 있는 성능을 보였습니다. 세 가지 NSL 최적화 방법은 각각 강점이 달랐습니다. AWR은 성공적인 경험을 빠르게 활용했으며, 로봇 상호작용과 학습 업데이트가 모두 제한된 조건에서 좋은 성능을 보였습니다. SAC은 더 많은 경험을 모으고 더 많은 최적화를 수행했을 때 더 큰 효과를 얻어, 보고된 시뮬레이션 비교에서 최종 성공률이 가장 높았습니다. PPO 역시 롤아웃을 추가할수록 성능이 향상되었습니다.
시뮬레이션 평가는 RoboTwin 작업 8개를 사용했으며, 각 작업은 Easy와 Hard 설정에서 테스트되었습니다. 각 방법은 동일한 SmolVLA 체크포인트에서 시작해 RoboTwin 시연 궤적 27,500개로 미세 조정되었습니다. 작업과 난이도의 각 조합에는 별도의 고정된 학습 시나리오와 보류 평가 시나리오가 있었습니다.
| 평가 항목 | 보고된 값 |
|---|---|
| RoboTwin 작업 수 | 8 |
| 작업 및 난이도별 학습 시나리오 | 50 |
| 작업 및 난이도별 보류 평가 시나리오 | 50 |
| 시작 체크포인트 미세 조정에 사용된 시연 궤적 | 27,500 |
| 시작 체크포인트 평균 성공률, Easy | 31.50% |
| 시작 체크포인트 평균 성공률, Hard | 32.75% |
이 기준 수치는 시작 체크포인트의 결과이며, NSL의 최종 성공률이 아닙니다. 보고된 비교는 학습 자원에 따라 성능이 어떻게 달라지는지에 주목합니다. AWR은 적은 예산으로도 강력한 선택지이며, SAC은 더 많은 데이터와 업데이트를 사용할 수 있을 때 가장 큰 이점을 얻습니다.
노이즈 공간 학습은 어떻게 작동하나?
사전 학습된 VLA는 파이프라인으로 볼 수 있습니다. 카메라 화면과 작업 지시문 같은 맥락을 입력받은 뒤, 샘플링된 노이즈를 행동으로 변환합니다. NSL은 이 변환 과정, 즉 생성기를 변경하지 않습니다. 대신 조건부 노이즈 액터를 학습해 현재 맥락에 적합한 노이즈 분포를 선택합니다. 실험에서 이 액터는 대각 가우시안 분포를 사용했습니다. 이는 학습된 평균과 분산으로 서로 분리된 노이즈 값을 나타내는 표준적인 방법입니다.
이 설계는 고정된 채널에 입력되는 값을 바꾸는 것으로 이해할 수 있습니다. 다른 적응 방법은 생성기를 업데이트해 채널 자체를 수정하거나, 잔차 행동 보정을 더해 출력을 바꿉니다. 연구진은 정보 이론을 사용해 이러한 선택을 분석합니다. 목표 행동 분포 쪽으로 행동을 이동시키는 데 드는 정보 비용을 측정하는 방식입니다. 분석 결과, 노이즈를 조정하면 최소한의 행동 정보 비용으로 목표 분포에 도달할 수 있는 조건을 확인했습니다.
노이즈 액터는 로봇 또는 시뮬레이션 경험을 이용한 강화학습 방법으로 학습합니다. PPO는 최근 롤아웃과 추정된 어드밴티지를 바탕으로 학습하고, SAC은 크리틱을 사용해 정책을 개선합니다. AWR은 가중 회귀를 통해 성공적인 경험을 학습하며, 성능이 더 좋은 샘플에 더 큰 비중을 둡니다. 이들 방법은 어느 것도 역전파를 통해 VLA 생성기를 업데이트하지 않습니다.
최적화 방법에 따라 데이터 수집과 계산 사이의 균형이 달라지므로 어떤 방법을 선택하느냐가 중요합니다. AWR은 소수의 성공 사례만으로도 빠르게 성능을 높일 수 있습니다. SAC의 크리틱 기반 업데이트는 더 큰 데이터 세트와 업데이트 예산이 있을 때 더 큰 효과를 낼 수 있습니다. PPO도 롤아웃을 더 수집하면 이점을 얻지만, 보고된 분석에서 업데이트만 추가했을 때의 평균적인 향상 폭은 더 제한적입니다.
로봇공학에서 왜 중요한가?
시연 데이터로 학습한 로봇 정책은 적응에 많은 비용이 들 수 있습니다. 대규모 VLA를 업데이트하려면 상당한 계산 자원과 세심한 학습 인프라가 필요할 수 있으며, 유용한 기술이 손상되지 않도록 보호 장치도 마련해야 합니다. NSL은 더 작은 대상을 적응시킵니다. 사전 학습된 생성기는 그대로 두고, 작업에 적합한 노이즈를 입력하는 방법을 학습합니다. 따라서 정책을 처음부터 다시 만들지 않고 특정 작업에 맞게 조정하려는 운영자에게 실용적인 설계 선택지가 될 수 있습니다.
또한 연구 결과는 ‘최선’의 방법이 사용 가능한 자원에 따라 달라진다는 점을 보여 줍니다. AWR은 로봇 시도를 적게 하고 업데이트 예산도 적당히만 사용할 수 있는 환경에 적합합니다. SAC은 최종 성능을 높이는 데 더 많은 상호작용 데이터와 계산 자원을 투입할 수 있을 때 더 적합합니다. 이 구분은 로봇공학 팀이 학습 계산량만 유일한 제약으로 보는 대신, 안전한 로봇 경험을 수집하는 데 드는 실제 비용을 고려해 계획을 세우는 데 도움이 됩니다.
시스템을 평가하는 구매자라면 다음과 같은 유용한 질문을 던질 수 있습니다. 로봇은 배치 후 얼마나 쉽게 적응할 수 있으며, 그러려면 어떤 데이터나 상호작용이 필요한가? 여러 플랫폼을 비교하는 팀은 안전한 시험과 피드백, 정책 업데이트를 지원하는지 살펴보면서 판매 중인 중고 로봇 둘러보기를 할 수 있습니다. NSL이 배치 과정의 모든 문제를 해결하는 것은 아니지만, 성능이 뛰어난 사전 학습 행동 모델을 재사용하면서 그 행동을 특정 목적에 맞게 조정하는 방법을 보여 줍니다.
한계와 미해결 질문은 무엇인가?
NSL은 고정된 생성기가 표현할 수 있는 행동만 만들어 낼 수 있습니다. 적응 능력은 노이즈 액터의 설계에 따라서도 제한되므로, 노이즈를 바꾸는 것만으로는 부적절한 기반 정책을 새로운 행동에 완전히 적합하게 만들 수 없습니다. 표현력이 더 높은 노이즈 표현을 사용하거나, 노이즈 학습과 함께 생성기를 신중하게 업데이트하는 방법이 잠재적인 다음 단계입니다.
실제 로봇 테스트에서는 신뢰성에 관한 중요한 우려도 드러났습니다. SAC 진단 과정에서 일부 노이즈 출력이 진폭 한계에 가까워졌고, 크리틱은 재생된 노이즈 샘플보다 제안된 행동에 대해 더 큰 의견 차이를 보였습니다. 실제 로봇 시도 중에는 의도치 않게 테이블에 접촉하는 일이 발생했습니다. 따라서 노이즈 진폭만 제한하는 것으로는 디코딩된 행동의 안전성을 보장할 수 없었습니다. 연구진은 로봇 데이터가 부족할 때 관측된 성공 사례를 토대로 업데이트를 수행하는 것이 유용한 대응책이라고 제시합니다. 새로운 작업과 서로 다른 로봇 형태, 기술 유지, 복잡한 접촉 상황에 대해서는 더 폭넓은 테스트가 필요합니다.
자주 묻는 질문
노이즈 공간 학습은 로봇의 VLA 모델을 재훈련하나요? 아니요. 사전 학습된 행동 생성기는 고정한 채 노이즈 액터를 학습합니다.
어떤 학습 방법이 가장 잘 작동하나요? AWR은 데이터 수집과 업데이트가 제한된 조건에서 효과적이며, SAC은 더 큰 예산이 주어졌을 때 시뮬레이션에서 더 높은 최종 성능을 보입니다.
노이즈 공간 학습은 실제 로봇에서 테스트되었나요? 네. 이 연구는 실제 로봇의 온라인 적응을 보고하며, 사람의 수정 피드백이 복잡한 조작 성능을 향상시킨 테스트도 포함합니다.
노이즈를 바꾸면 안전한 로봇 행동이 보장되나요? 아니요. 보고된 실제 로봇 진단 결과에 따르면 노이즈 제한만으로는 안정적인 행동을 보장하거나 의도치 않은 접촉을 막을 수 없습니다.
결론
노이즈 공간 학습은 사전 학습된 행동 생성기 자체를 재훈련하는 대신, 고정된 생성기에 어떤 노이즈를 입력할지 학습해 로봇 행동을 적응시킵니다. 연구 결과는 적응 비용과 성능 사이에서 유망한 절충점을 보여 주며, 최적화 방법은 사용 가능한 로봇 경험과 계산 자원에 따라 달라집니다.