확산 모델은 이제 동작 계획이나 행동을 생성하는 데 그치지 않고, 신경망 가중치를 만들어 실용적인 휴머노이드 로봇 제어기를 생성할 수 있습니다. 시뮬레이션에서 생성된 정책은 보행, 춤, 회전 발차기를 수행했으며, 연구에서는 Unitree G1으로 제로샷 전이도 보고했습니다. 가중치 분석에서는 로봇 동작과 연관된 반복 가능한 구조가 발견됐습니다.
연구진은 무엇을 만들었나요?
연구진은 휴머노이드 로봇 제어 네트워크의 내부 매개변수인 가중치와 편향을 생성하는 시스템을 만들었습니다. 모델에 각 동작을 직접 출력하도록 하는 대신, 이 접근법은 로봇에서 실행할 수 있는 후보 신경망 제어기를 생성합니다. 연구진은 강화학습 시스템에서 행동을 선택하는 부분인 액터 네트워크에 초점을 맞췄습니다. 학습 과정에서 사용되는 별도의 크리틱 네트워크는 생성 데이터셋에 포함되지 않았습니다.
학습 예시는 mjlab 시뮬레이션 환경에서 훈련된 제어기에서 가져왔으며, 난이도가 점차 높아지는 세 가지 동작, 즉 보행, 리듬에 맞춘 춤, 역동적인 회전 발차기를 대상으로 했습니다. 각 액터는 3층 신경망이었습니다. 데이터셋에는 훈련이 수렴한 뒤 수집한 체크포인트를 포함해, 훈련된 제어기의 저장된 버전이 여러 개 포함됐습니다.
가중치 데이터를 모델링하기 쉽도록 시스템은 먼저 오토인코더를 사용해 더 작은 표현으로 압축했습니다. 오토인코더는 복잡한 데이터를 간결하게 인코딩하고 나중에 복원하도록 학습하는 모델입니다. 이어서 확산 트랜스포머가 이 압축 공간에서 샘플을 생성하도록 학습했습니다. 실제로는 기존 제어기 가중치 전반의 패턴을 학습해, 학습된 분포와 유사한 새로운 가중치 집합을 만들 수 있다는 뜻입니다.
목표는 단순히 그럴듯한 로봇 동작을 만드는 것이 아니었습니다. 생성된 가중치 집합은 제어기로 작동해, 시뮬레이션 또는 실제 휴머노이드가 과제를 수행할 수 있도록 행동을 만들어야 했습니다.
주요 결과는 무엇이었나요?
생성된 제어기는 세 가지 시뮬레이션 과제에서 평가됐으며, 학습 데이터셋의 강화학습(RL) 제어기와 비교됐습니다. 연구진은 임베딩 차원이 서로 다른 확산 트랜스포머도 시험했습니다. 평가 지표로 성공률과 추적 오차를 계획했습니다. 성공률은 과제 완료 여부를 나타내고, 추적 오차는 로봇이 목표 동작을 얼마나 충실히 따랐는지를 측정합니다.
논문의 결론에 따르면, 확산 모델로 생성한 네트워크는 해당 동작을 수행했으며 Unitree G1 휴머노이드로 제로샷 전이됐습니다. 여기서 ‘제로샷’은 생성된 제어기를 해당 로봇에서 추가 학습하지 않고 실제 로봇으로 옮겼다는 뜻입니다. 공개된 논문 본문에는 수치로 된 성공률이나 추적 오차 결과가 포함되어 있지 않습니다. 따라서 생성된 제어기와 기준 모델의 성능을 정밀하게 비교하거나, 시험한 모델 크기 간 순위를 매길 근거는 없습니다.
분석 결과, 제어기 네트워크의 첫 번째 층에는 로봇 동작과 연관된 반복 구조가 있었습니다. 강화학습과 모방 학습으로 훈련된 네트워크는 서로 다른 학습 목표를 사용했는데도 같은 동작에서 유사한 구조를 보였습니다. 도메인 무작위화는 개별 가중치를 크게 바꿨지만 전반적인 패턴은 비슷하게 유지됐습니다. 연구진의 시각화에서는 생성된 가중치 샘플도 학습 데이터 분포 안에 나타났습니다. 이는 해당 구조를 학습했다는 점을 뒷받침하지만, 그 자체만으로 광범위한 분포 외 일반화가 입증되는 것은 아닙니다.
가중치 생성은 어떻게 작동하나요?
파이프라인은 원본 영상이나 모션 캡처 클립이 아니라 훈련된 제어기에서 시작합니다. 각 제어기는 수치 매개변수의 묶음입니다. 이러한 묶음은 직접 모델링하기 어렵습니다. 값이 많고 층마다 값의 규모가 다를 수 있기 때문입니다. 이에 연구진은 오토인코더를 사용해 가중치를 유용한 구조를 유지하는 더 작은 수치 표현인 잠재 표현으로 변환합니다.
주요 설계 선택 중 하나는 첫 번째 층을 나머지 층과 분리해 인코딩하는 것입니다. 첫 번째 층은 로봇의 관측값을 내부 특징에 연결하므로, 입력값은 로봇이 감지하는 대상과 직접적으로 연관된 의미를 지닙니다. 연구진은 해당 층의 가중치와 편향을 하나의 그룹으로 묶고, 두 번째 및 세 번째 층의 매개변수는 다른 그룹으로 묶었습니다. 절제 실험에서 이 그룹별 설계는 동일한 잠재 표현 용량으로 모든 매개변수를 한꺼번에 인코딩하는 것보다 가중치 데이터를 더 정확하게 복원했습니다. 논문은 그 이유 중 하나로 층마다 매개변수의 규모가 다른 점을 꼽습니다.
확산 트랜스포머는 압축된 가중치 공간에서 샘플을 생성하도록 학습합니다. 확산 모델은 여러 단계에 걸쳐 노이즈를 구조화된 샘플로 바꾸는 법을 학습합니다. 이 연구에서 구조화된 샘플은 궤적이나 로봇 행동 시퀀스가 아니라 제어기 표현입니다. 이후 디코더가 이 표현을 휴머노이드를 제어할 수 있는 네트워크 매개변수로 변환합니다.
데이터 수집을 위해 액터는 수천 개의 병렬 시뮬레이션 환경에서 훈련됐으며, 수렴 후 체크포인트를 저장했습니다. 평가에는 병렬 시뮬레이션 롤아웃, 수집된 RL 제어기와의 비교, Unitree G1에서의 실제 로봇 시험이 포함됐습니다. 이 설정은 서로 다른 두 가지 질문을 살펴봅니다. 생성된 가중치가 기능하는 정책을 만들어 낼 수 있는지, 그리고 학습된 가중치 패턴이 암기한 예시의 목록을 넘어서는 의미를 반영하는지입니다.
로봇공학에서 이 연구가 중요한 이유는 무엇인가요?
로봇 학습은 대개 관측값을 행동에 대응시키는 정책이나 동작 시퀀스를 생성하는 시스템에 초점을 맞춥니다. 반면 이 연구는 정책 자체, 즉 제어기가 학습한 매개변수를 생성 모델이 만들어 낼 수 있는 대상으로 다룹니다. 이는 로봇 기술이 어떻게 표현되는지 연구하는 새로운 방법을 제공하며, 작동하는 정책을 학습한 모음에서 새로운 제어기 변형을 만들 가능성도 제시합니다.
실제 로봇으로 전이한 결과는 특히 현장 적용 측면에서 중요합니다. 시뮬레이션에서만 작동하는 정책으로는 실제 운용에 충분하지 않습니다. 제어기는 실제 하드웨어와 그 동역학에도 대응해야 합니다. 보고된 Unitree G1 제로샷 시험은 시뮬레이션 학습 데이터에서 생성한 가중치가 실제 휴머노이드에서 작동할 수 있다는 근거를 제공하지만, 공개된 결과만으로는 얼마나 안정적으로 또는 얼마나 다양한 조건에서 작동했는지 알 수 없습니다.
휴머노이드 개발을 지켜보는 엔지니어와 구매자에게 이 연구는 학습된 제어기를 불투명한 파일로만 취급하지 않고 들여다볼 방법도 제공합니다. 학습 방식이 달라도 첫 번째 층의 가중치에서 동작 관련 구조가 나타났다는 사실은 네트워크가 무엇을 학습했는지 질문할 출발점이 됩니다. 아직 더 나은 정책을 만드는 실용적인 지름길은 아니지만, 정책을 이해하기 위한 새로운 도구를 더합니다. Robot Overflow에서 휴머노이드 로봇을 둘러보거나 판매 중인 중고 로봇을 살펴보세요.
한계와 미해결 질문은 무엇인가요?
실험은 세 가지 동작과 하나의 휴머노이드 형태를 다루므로, 동일한 가중치 패턴이 서로 다른 로봇 설계나 훨씬 다양한 과제에서도 나타나는지는 알 수 없습니다. 분석 역시 주로 첫 번째 네트워크 층에 초점을 맞췄습니다. 더 깊은 층과 도메인 무작위화가 네트워크 전체를 어떻게 바꾸는지는 여전히 충분히 이해되지 않았습니다.
발견된 패턴이 정책 성능을 개선하거나 더 나은 제어기를 생성하는 실용적인 방법으로 이어졌다는 사실은 아직 입증되지 않았습니다. 또한 생성 샘플이 학습 분포 안에 나타난다는 사실만으로 모델이 새로운 과제나 크게 다른 제어기로 일반화한다고 증명할 수는 없습니다. 마지막으로, 공개된 논문 본문에는 수치로 된 성공률과 추적 오차 결과가 없어 명시된 기준 모델과 직접 비교하기 어렵습니다.
독자들이 자주 묻는 질문은 무엇인가요?
모델이 로봇 동작을 직접 생성하나요? 아니요. 모델은 신경망 가중치를 생성하며, 생성된 네트워크를 제어기로 사용하면 행동이 출력됩니다.
어떤 과제를 시험했나요? 연구에서는 시뮬레이션에서 보행, 춤, 역동적인 회전 발차기를 평가했습니다.
생성된 제어기를 실제 휴머노이드에서 실행했나요? 논문의 결론에 따르면, 실제 로봇에서 추가 학습을 하지 않고 Unitree G1으로 제로샷 전이했습니다.
분석 결과는 모델이 완전히 새로운 기술을 창안한다는 것을 증명하나요? 아니요. 시각화에서는 생성된 가중치가 학습 분포 안에 나타났지만, 연구는 관찰되지 않은 기술로의 광범위한 일반화를 입증하지 않았습니다.
핵심 요점은 무엇인가요?
이 연구는 신경망 가중치 공간을 모델링해 확산 모델이 기능하는 휴머노이드 제어기를 생성할 수 있으며, 시뮬레이션에서 실제 Unitree G1으로 전이한 결과도 보고됐음을 보여줍니다. 가중치 공간 분석은 학습된 동작이 제어기 안에 어떻게 나타나는지에 대한 단서를 제공하지만, 더 폭넓은 일반화와 실질적인 성능 향상은 여전히 해결해야 할 과제로 남아 있습니다.