서론
대규모 데이터셋과 사전 학습된 표현은 로봇 모방 학습의 발전을 이끌어 왔습니다. 확산, 플로 매칭, 시각-언어-행동 정책은 전문가 시연을 바탕으로 신경망 동작 예측기를 적합하며, 사전 학습된 시각 또는 시각-언어 백본을 사용하는 경우가 많습니다. 조작을 비롯한 로봇 작업에서의 성공으로, 신경망 기반 행동 복제는 예시를 통해 기술을 학습하는 강력한 접근법이 되었습니다.
하지만 이 접근법은 신속한 배포와 행동 수정에 복잡성을 더하고, 로봇 지능에 대한 접근도 제한합니다. 정책을 적합하거나 조정하는 데 GPU 연산이 몇 시간씩 필요할 수 있어 잦은 업데이트에 비용이 많이 들며, 서버 기반 연산이 필요한 경우도 많습니다. 시연이 네트워크 가중치에 압축되고 나면 개별 동작의 근거가 된 예시를 파악하기 어렵고, 적합된 모델을 업데이트하지 않는 한 바람직하지 않은 시연을 삭제해도 그 영향은 사라지지 않습니다. 새로운 환경에 대한 일반화 역시 작업에 따라 달라집니다. 조회 기반 진단 결과, 궤적을 직접 검색하는 방식도 확산 정책에 필적할 수 있는 것으로 나타났습니다. 이에 따라 배포 시에도 시연을 보존하는 보완적 접근법을 모색합니다. 우리의 목표는 연산량과 적합 시간이 제한된 환경에서도 로봇 기능을 더 쉽게 배포하고 수정할 수 있도록 하는 것입니다.
검색 기반 정책은 시연을 명시적으로 보존하고, 추론 시 관련 행동을 선택한 뒤 실시간 질의에 맞게 조정합니다. 따라서 근거가 된 데이터를 확인할 수 있고, 시연 뱅크를 직접 개입할 수 있는 대상으로 삼을 수 있습니다. 핵심 과제는 질의와 시연 간의 불일치입니다. 로봇의 관측-행동 이력은 변화하며, 기록된 궤적과 정확히 일치하지 않을 수 있습니다. 가까운 동작을 선택하거나 평균을 내는 것만으로는 해당 이력과 그 뒤에 이어지는 행동을 명시적으로 조율할 수 없습니다. 대신 검색한 궤적을 행동 연속을 위한 국소 모델로 사용해 관측된 과거를 재구성하고, 그 결과 얻은 계수를 시연된 미래에 적용합니다.
우리는 적합된 검색 척도, 정규화된 Hankel 행렬 기반 행동 연속 사전 정보, 폐형식 1단계 잔차 보정을 결합한 행동 예측 제어(Behavior Predictive Control, BPC)를 제안합니다. 검색 척도는 이력이 미래 동작에 대한 정보를 제공하는 윈도우를 선택합니다. 그런 다음 BPC는 해당 윈도우를 바탕으로 실시간 이력을 재구성하고, 같은 계수를 사용해 동작 연속을 예측합니다. 동일한 데이터 지지 집합에서 적합한 잔차는 비선형 또는 고차 효과를 고려하도록 동작을 보정합니다. 고정된 사전 학습 시각 특징을 사용하면 이 표현을 시각운동 제어로 확장할 수 있습니다. 본 연구에서는 국소성과 정규화가 비선형 상황에 대응할 수 있음을 보였으며, 다음 동작 오차를 이력 재구성 오차 및 국소 근사 오차와 연관 짓는 분석을 제시합니다.
BPC는 근거가 되는 궤적을 보존하면서 종단 간 정책 학습 없이 정책을 구성합니다. 검색된 윈도우 위치와 계수는 작업 진행 상황을 내재적으로 추정하는 데도 활용됩니다. 시뮬레이션 및 하드웨어 실험에서 여러 작업과 로봇 형태에 걸쳐 경쟁력 있는 성능과 일반화 능력을 보였습니다. 보고된 구성에서는 소비자용 GPU를 사용해 정책 적합 시간을 수 시간에서 수 초로 줄였으며, 로봇의 온보드 하드웨어에서도 작동해 Jetson Orin Nano에서 75 Hz 제어를 지원합니다. 이러한 조합을 통해 적은 연산량으로 시연 기반 정책을 실용적으로 구성하면서도 행동을 결정하는 데이터에 계속 접근할 수 있습니다.
정규화된 국소 행동 연속
De Persis와 Tesi의 궤적 완성 문제를 행동 복제에 맞게 적용합니다. 즉, 시연 데이터가 행동 라이브러리를 구성합니다. 관측과 실행된 동작의 이력을 바탕으로 미래 관측을 예측하는 대신, 관측된 이력 다음에 이어져야 할 전문가 동작을 예측합니다.
시간 인덱스는 괄호가 있는 위첨자로, 라이브러리 열 인덱스와 시연 인덱스는 아래첨자로 표기합니다. 미지의 전문가가 작동하는 폐루프 플랜트를 고려합니다.
검색 분포 결합
그런 다음 이력 정보를 반영해 재순위화한 사후 분포를 바탕으로 앞서와 같은 방식으로 선택합니다.
계산 시간
서로 다른 데이터셋 규모에서 BPC의 적합 및 정책 실행 비용을 보고합니다. 데이터셋 규모가 매우 커도 BPC의 적합에는 3분밖에 걸리지 않으며, 소비자용 GPU의 메모리 한도 내에서 충분히 실행할 수 있습니다. RTX 4090에서 100 Hz로 배포됩니다.
BPC의 한계를 확인하기 위해 8 GB Jetson Orin Nano에서 적합과 배포를 진행했습니다. 적합에는 3분 미만이 걸렸으며, 드론에 탑재한 상태로 75 Hz에서 실행했습니다.
한계
BPC는 시연의 포괄성과 필요한 동작을 구별하기에 충분한 정보가 담긴 관측 이력에 의존합니다. 검색만으로는 작업 정보가 부족해 생기는 모호성을 해결할 수 없으며, 시연된 상태에서 크게 벗어난 행동에는 뱅크에 없는 복구 동작이 필요할 수 있습니다. 아핀 연속은 외삽을 허용하지만, 절댓값이 큰 부호 있는 계수는 근사 오차를 증폭할 수 있습니다.
우리의 분석은 전문가 정책이 국소적으로 매끄럽다고 가정하고, 보정 전 동작 사전 정보에 대한 오차 상한을 제시합니다. 그러나 잔차 보정 이후의 폐루프 안정성, 안전성 또는 작업 완료를 보장하지는 않습니다. 구체적으로, 작업에 따라 성능이 달라지며 Nut, Stack3, Pen에서는 결과가 저조한 것으로 나타났습니다. BPC가 활용할 수 있는 메커니즘이나 데이터셋별 특이점을 찾기 위해 추가 연구가 필요합니다.
종단 간 정책 학습을 피한다고 해서 적합이나 데이터 준비가 불필요해지는 것은 아닙니다. BPC는 여전히 검색 및 잔차 구성 요소를 적합하며, 시연 뱅크를 보존하면 데이터셋 규모에 따라 증가하는 저장 및 검색 비용도 발생합니다. BPC는 이미 대규모 단일 작업 데이터셋에서 유용하지만, 향후에는 이 패러다임을 다중 작업 환경과 훨씬 많은 시연 데이터로 대규모 확장하는 데 주력할 예정입니다.
감사의 말
수학적 내용의 일부를 작성하고 LaTeX 형식을 준비하는 데 Codex를 사용했습니다. 이미지 생성 시스템은 개념적인 로봇 팔과 드론 삽화를 제작하는 데 사용했습니다.
관측 인코더
각 작업에 대해 선택된 시연 하위 집합을 사용해 보조 행동 복제 목적 함수로 인코더를 처음부터 학습했습니다. 업데이트 횟수는 2,000회, 배치 크기는 32, 학습률은 [원문에 학습률 값이 제공되지 않음]입니다. 보조 모델은 관측 단계 2개를 사용하고 동작 단계 16개를 예측합니다. 이는 인코더 학습 설정이며 BPC의 10단계 이력 및 연속 설정과는 다릅니다.
BPC에는 점군 인코더만 남기며, 검색 및 잔차 적합과 배포 중에는 이를 고정합니다. 따라서 보고된 3D 파이프라인에는 작업별 인코더 학습이 포함됩니다. 공개된 SDP 가중치나 공개 PointNet++ 대안은 사용하지 않습니다. 고정된 사전 학습 PointNet 잠재 표현은 이러한 손재주 작업에서 약간 더 낮은 성공률을 보입니다.
검색 및 잔차 하이퍼파라미터
서로 다른 무작위 특징 맵 두 가지를 사용합니다. 하나는 선형 판별 분석의 검색 맵이고, 다른 하나는 잔차 보정 맵입니다. 두 맵 모두 특징 16,384개를 포함하며, 축소된 검색 표현의 랭크는 70입니다. 검색 적합에는 앵커를 최대 8,192개 사용합니다. 이 차원은 이미지 또는 점군 임베딩 차원과 혼동해서는 안 됩니다.
보관된 검색 구성에서는 엔트로피 교사 Fisher-LDA 적합을 사용합니다. 아핀 판독에는 합이 1이 되도록 제약한 정확 해법을 사용하며, 별도의 [원문에 정규화 항 값이 제공되지 않음] 패널티는 적용하지 않습니다.
자주 묻는 질문
행동 예측 제어란 무엇인가요? 행동 예측 제어는 시연 궤적을 활용해 동작을 연속하고 잔차 보정을 적용하는 검색 기반 정책 구성 방법입니다.
BPC에는 종단 간 정책 학습이 필요한가요? 아니요. BPC는 종단 간 정책 학습을 피하면서 검색 및 잔차 구성 요소를 적합하고 시연 뱅크를 보존합니다.
로봇 하드웨어에서 BPC는 얼마나 빠르게 실행되나요? BPC는 Jetson Orin Nano에서 75 Hz 제어를 지원하며 RTX 4090에서 100 Hz로 배포할 수 있습니다.
BPC의 주요 한계는 무엇인가요? BPC는 시연의 포괄성과 정보가 충분한 관측 이력에 의존하며, 잔차 보정 이후의 폐루프 안정성, 안전성 또는 작업 완료를 보장하지 않습니다.