비전-언어-행동(VLA) 모델은 시각적 관찰과 언어 지시를 로봇 동작으로 변환하며, 로봇 조작에서 뛰어난 역량을 보입니다. 신뢰성 있는 실행을 위해서는 작업이 진행 중인지, 성공했는지, 실패했는지를 파악해야 시스템이 계속 진행할지, 멈출지, 개입할지를 판단할 수 있습니다. 기존 방법은 VLA 정책 내부에서 진행도, 완료 또는 실패 신호를 예측하거나 외부 모니터링 모델을 통해 이를 예측합니다.
그러나 기존 접근법에는 두 가지 한계가 있습니다. 이러한 신호를 학습하고 통합하려면 프레임 단위의 세밀한 지도 정보, 외부 모니터링 모델 또는 복잡한 아키텍처 설계가 필요할 수 있습니다. 또한 예측된 신호는 일반적으로 모니터링에만 사용되므로, 동작 생성 개선에 활용할 가능성은 충분히 탐구되지 않았습니다.
프레임 단위 진행도 주석 없이 이러한 신호를 학습하기 위해 Echo는 성공 시연, 실패한 정책 롤아웃, 개입 전 실패 구간, 복구 시연을 결합합니다. 하위 작업 단위 프롬프트와 성공 또는 실패 레이블을 함께 사용합니다. 실패 롤아웃과 개입 전 실패 구간은 각각 최종 실패와 복구 가능한 실패를 지도하며, 해당 구간의 동작은 모방 학습에서 제외됩니다. 복구 시연은 유사한 상태 지도 정보와 복구 가능한 실패 상태에 대응하는 교정 동작을 짝지어, 실패 인식과 복구 행동을 연결합니다.
학습된 상태 정보를 동작 생성에 활용하기 위해 Echo는 정지 신호(SS), 실패 신호(FS), 로봇 동작 간 상호작용을 제어하면서 정확하고 상호 보완적인 신호 예측을 유지합니다. 또한 비동기 노이즈 제거를 도입합니다. 신호 토큰을 동작 토큰보다 빠르게 노이즈 제거하므로, 이후의 동작 노이즈 제거 단계는 더 정제된 상태 추정값을 조건으로 삼습니다. 정책이 SS가 낮고 FS가 높아진 복구 가능한 실패를 인식하면, 현재 관찰과 함께 이 추정값을 활용해 복구 시연에서 학습한 교정 행동으로 동작 생성을 유도할 수 있습니다.
실제 조작 과제 다섯 가지에 대한 실험에서 작업 상태를 정확히 예측하고 동작만 사용하는 기준선보다 성능을 개선했으며, 분포 외 상황에서는 더 큰 향상을 보였습니다. 구성 요소 제거 실험, 신호 개입, 실패 데이터 규모 분석을 통해 상태 신호가 동작 생성에 미치는 영향과 예측 및 실행에 각 데이터 원천이 기여하는 바를 살펴봅니다.
세 가지 주요 기여는 다음과 같습니다. 추가 파라미터 부담을 거의 늘리지 않고 정지 및 실패 신호를 VLA 동작 청크에 통합하는 간결한 작업 상태 표현, 프레임 단위 진행도 주석 없이 성공·실패·복구 데이터로 이러한 신호를 학습하는 지도 방식, 그리고 상태 예측과 동작 생성을 결합하는 비동기 노이즈 제거 및 제어된 상호작용입니다.
사전 지식
샘플링된 청크는 현재 구간을 넘어 다음 하위 작업으로 이어지거나 에피소드 길이를 초과할 수 있습니다. 구간에서 마지막으로 유효한 동작 시점은 해당 구간의 마지막 유효 동작 시점을 의미합니다. 패딩 마스크는 이 경계를 벗어난 위치를 표시합니다.
패딩 위치에서는 마지막 유효 동작 타깃이 반복됩니다. 현재 구간을 벗어나는 동작을 제외할 뿐 아니라, 패딩은 경계를 기반으로 신호 레이블을 자연스럽게 제공합니다. 예를 들어 작업 완료로 구간이 끝나면 패딩 마스크를 통해 어느 위치에서 정지를 예측해야 하는지 알 수 있습니다. Echo는 이 마스크를 구간 유형과 결합해 프레임 단위 진행도 주석을 추가하지 않고 작업 상태 신호 타깃을 구성합니다.
실험
실험에서는 Echo의 작업 상태 신호 정확도와 작업 실행에 대한 효과를 평가하기 위해 주요 결과와 기존 방법과의 비교를 제시합니다. 이어서 분포 내(ID) 및 분포 외(OOD) 성능을 분석하고 모델 구성 요소를 제거해 평가합니다. 마지막으로 신호에 개입해 동작 생성에 미치는 영향을 확인하고, 실패 데이터의 양을 조정해 데이터 원천별 역할을 살펴봅니다.
실험 설정
달리 명시되지 않는 한, 평가는 모델 및 과제별로 30회 시행하고, 정지 신호 및 실패 신호 임곗값과 15프레임의 의사결정 구간을 사용합니다(추론 간격 0.2초 기준 3초). 결과는 표준 오차를 포함한 평균으로 보고하며, F1 점수는 백분율로 표기합니다. 채점, 주석 및 결과 판정 규칙은 아래 평가 프로토콜에 자세히 설명되어 있습니다.
어블레이션 및 메커니즘 분석
분석에서는 Echo가 실행 성능을 향상하는 이유와 학습된 신호가 특히 유용한 상황을 살펴봅니다. ID 및 OOD 조건을 비교하고, 신호-동작 아키텍처를 어블레이션하며, 신호에 직접 개입하고, 최종 실패 데이터의 양을 조정합니다.
Insert Flower와 Open Drawer의 주요 결과는 각각 15회 시행한 ID 및 OOD 조건별로 나누어 제시합니다. Echo의 성능 향상은 OOD 조건에서 더 크며, ID 조건에서의 차이는 크지 않고 과제에 따라 다릅니다. 상태 예측은 대체로 안정적으로 유지됩니다. 프레임 단위 성능 변화는 크지 않고, 궤적 단위 성능은 분포 변화에 따라 소폭 하락합니다.
성공 시연은 정상적인 실행을 강조하는 반면, 복구 시연은 조정과 교정을 강조합니다. 저자들은 분포 변화 상황에서 상태 신호가 정책을 후자의 행동으로 유도한다는 가설을 세우고, 신호 개입을 통해 이를 직접 검증합니다.
결론
Echo는 단일 VLA 안에서 동작과 작업 상태 신호를 함께 노이즈 제거하는 간결한 프레임워크입니다. 프레임 단위 진행도 주석 없이 성공·실패·복구 데이터를 활용해 학습하며, 제어된 상호작용과 비동기 노이즈 제거로 동작 생성을 유도합니다. 실제 과제 다섯 가지에 대한 실험에서 정확한 상태 예측과 향상된 작업 완료 성능을 보여, 작업 상태 신호를 모니터링과 동작 생성 모두에 활용할 수 있음을 뒷받침합니다.
AI 사용 고지
원고의 명확성, 문법 및 가독성을 개선하기 위해 생성형 AI 도구를 사용했습니다. AI의 도움을 받은 모든 수정 사항은 저자들이 검토했으며, 최종 내용에 대한 책임은 전적으로 저자들에게 있습니다.
로봇 플랫폼 및 과제 세부 정보
데이터 수집과 정책 배포에는 7자유도 팔 두 개, 그리퍼 말단 장치, 6자유도 허리-다리 메커니즘을 갖춘 바퀴형 휴머노이드 로봇을 사용합니다. 작업 실행 중 이동식 베이스는 정지 상태를 유지합니다. 정책은 두 팔의 말단 장치와 그리퍼, 허리-다리 메커니즘을 통해 총 20자유도를 제어합니다. 시각적 관찰은 RGB 카메라 세 대에서 얻습니다. 카메라는 머리에 하나, 양쪽 손목에 각각 하나씩 장착되어 있습니다.
평가 프로토콜 및 과제 채점
각 에피소드의 최대 과제 점수는 10점입니다. 성공한 에피소드는 과제별 감점 전에 10점을 받습니다. 실패한 에피소드는 0점을 받습니다. 단, Make Tanghulu에서는 삽입에 성공했으나 놓은 뒤 산사나무 열매가 꼬치에서 떨어지는 경우, 해당 실패 에피소드에 부분 점수로 5점을 부여합니다.
Insert Flower와 Insert Pen에서는 접촉이 발생할 때마다 1점 감점하며, 감점은 최대 3점으로 제한됩니다. Capsule Toy와 Open Drawer에서는 빈손으로 잡으려는 시도가 있을 때마다 1점 감점하며, 감점은 최대 5점으로 제한됩니다.
데이터 샘플링 비율
모든 과제에서 학습 샘플링 비율은 성공, 실패, 개입 전 실패, 복구 데이터에 각각 할당되는 비율입니다.
구현, 하이퍼파라미터 및 추론 비용
패딩을 포함하는 청크에서는 본문에 제시된 지도 규칙에 따라 두 신호 손실 가중치를 모두 1로 설정합니다.
동기 부여 실험의 구현
동기 부여 실험에서는 동기식 노이즈 제거 과정에서 중간 동작 및 상태 추정값이 어떻게 변화하는지 살펴봅니다. 비동기 일정을 도입하기 전에 상태 정보를 언제 이용할 수 있는지 확인하는 것이 목적입니다.
기준선은 동작, SS, FS를 동기식으로 노이즈 제거하며, 세 그룹 모두에 동일한 흐름 시간을 할당합니다.
기준선 구현 및 성능 분석
논문은 Insert Flower에서 동작만 예측하고 정지 또는 실패 신호는 예측하지 않는 기준선, CycleVLA, VLA-Corrector, Robometer, Echo를 비교합니다. 이 절에서는 원래 방법과 실험 설정에 맞게 조정한 방법을 구분합니다.
기준선은 Echo와 동일한 성공 및 복구 동작 지도 데이터를 사용하며, 최적화 설정과 학습 단계 수도 맞춥니다. SS 또는 FS 없이 동작을 예측하므로 상태 지표는 기준선에 부여하지 않습니다. 구현 과정에서 학습 데이터, 모델 학습률, 최적화 기법을 비롯한 주요 설정을 Echo와 일관되게 유지했습니다. 모델은 수렴할 때까지 동일한 단계 수로 학습했습니다.
하이퍼파라미터 민감도
테스트한 범위에서 프레임 단위 성능은 일반적으로 FS 임곗값보다 SS 임곗값에 더 민감합니다. 예를 들어 Capsule Toy의 경우 SS 임곗값이 0.1일 때 98.1에서 0.5일 때 88.3으로 변하지만, 테스트한 FS 임곗값에 따라서는 변화가 없습니다. 다른 과제에서도 FS 임곗값 축을 따라서는 비교적 변화가 작지만, 최적의 SS 임곗값은 과제마다 다릅니다. 따라서 모든 과제에서 프레임 단위 F1을 최대화하는 단일 임곗값 설정은 없습니다.
외부 모니터링 및 계획과의 호환성
Echo는 학습된 작업 상태 정보가 동작 생성에 참여하도록 해 VLA 정책 자체를 개선합니다. 이러한 목표는 외부 모니터링, 복구 및 계획 모듈과 함께 사용할 수 있습니다. 또한 본문에서 정의한 신호 의미에 따라 SS와 FS를 상위 수준 컨트롤러에 실행 상태 정보로 제공할 수 있습니다.
외부 컨트롤러는 이 신호를 더 넓은 시간적 맥락이나 추가 관찰과 결합해 완료 여부를 확인하고, 개입을 요청하거나 계획을 다시 세울 수 있습니다. Echo는 정책 내부 상태 추정과 교정 동작 생성을 제공하고, 외부 모듈은 자체 의사결정 로직을 더합니다. 이는 아키텍처 차원의 호환성을 의미하며, 특정 결합 시스템의 성능 향상 여부를 확인하려면 별도의 평가가 필요합니다.
시뮬레이션 실험
실제 환경 실험을 보완하기 위해 LIBERO 및 LIBERO-Recovery를 기반으로 세 가지 유형의 시뮬레이션 연구를 수행합니다. 이 연구에서는 복구 상태에서의 작업 완료와 시뮬레이터 성공 판정을 이용한 작업 상태 예측을 모두 평가합니다.
자주 묻는 질문
Echo는 로봇 동작과 함께 무엇을 예측하나요? Echo는 작업 상태를 나타내는 정지 신호와 실패 신호를 예측합니다.
Echo는 작업 상태 신호를 학습할 때 어떤 데이터를 사용하나요? 성공 시연, 실패한 정책 롤아웃, 개입 전 실패 구간, 복구 시연을 결합합니다.
Echo는 동작 생성 중 작업 상태 신호를 어떻게 활용하나요? 상태 신호와 동작 간 상호작용을 제어하고 신호 토큰을 더 빠르게 노이즈 제거해, 이후 동작 노이즈 제거 단계에서 더 정제된 상태 추정값을 활용할 수 있게 합니다.
실제 환경 실험에는 어떤 로봇과 과제를 사용했나요? 이동식 베이스가 정지한 바퀴형 휴머노이드를 사용했습니다. 로봇에는 팔 두 개와 RGB 카메라 세 대가 있으며, 실제 조작 과제 다섯 가지를 수행했습니다.