관련 연구
기존 방법으로 실패를 감지할 수는 있지만, 경보가 반드시 적시에 울리거나 유용한 정보를 제공하는 것은 아니며 충분히 보정되지 않을 수도 있습니다. VLA-Tug는 실패를 고려한 표현, 실패 시작 시점 기반 감지, 결합된 통계적 보장을 통해 이러한 한계를 해결합니다.
문제 정의
이 절에서는 시각-언어-행동 모델(VLA)의 실패 감지기가 작동하는 방식을 설명하는 포괄적인 정의를 제시하고, 문제를 수학적으로 정식화한 뒤 VLA-Tug가 이를 어떻게 해결하는지 소개합니다.
정의
방법 간 비교를 돕기 위해 실패 점수, 감지 임계값, 감지 시점, 실패 시점, 실패 유형의 개념을 정의합니다.
- 실패 점수. 각 시점에서 탐침이 실패라고 판단하는 정도를 나타내는 점수로, VLA가 실패하고 있다는 탐침의 판단을 표현합니다. 엄밀한 의미의 확률일 필요는 없습니다.
- 감지 임계값. 실패 점수에 적용하는 기준값으로, 실패와 성공을 구분합니다.
- 감지 시점. 점수가 임계값을 넘는 첫 번째 시점이며, 점수가 임계값을 처음 넘는 때를 뜻합니다.
- 실패 시점. 실패 시작 시점이라고도 하며, 정책이 명백한 실수를 하거나 진행이 정체되어 사람 또는 다른 주체의 개입이 필요한 때입니다.
- 실패 유형. 실패를 의미적으로 분류한 범주를 가리키는 라벨로, 각 실패에 부여하는 상위 수준의 범주입니다. 예를 들어 잡기 실패, 놓기 실패, 진행 없음 등이 있습니다.
방법론
VLA-Tug는 실패 탐침과 보정된 경보 임계값으로 구성됩니다. 다음 절에서는 탐침과 학습 방법을 설명한 다음, 경보 임계값을 보정하는 방법과 이에 따른 보장을 살펴봅니다.
잠재 공간 탐침을 통한 실패 감지
기존 연구를 바탕으로 LSTM과 MLP를 조합해 탐침을 구현합니다. 목표는 백본 임베딩에서 학습 중에 관측한 에피소드에만 국한되지 않고 일반화되는 비선형 패턴을 포착하는 것입니다. 모델 입력과 구조를 소개하고 학습 전략을 설명합니다.
정보성 평가
이 절에서는 조향을 통한 실패 예방에 중요한 요소인 실패 유형 예측에 초점을 맞춥니다. 실패 유형의 분포가 크게 불균형하므로 균형 정확도를 보고합니다. 이는 각 클래스에서 올바르게 예측한 실패 비율의 평균입니다. 기존 기준 방법은 실패 유형을 예측하지 않으므로 다수 클래스 기준선과 비교하고 LIBERO-X에 초점을 맞춥니다.
실제로 탐침은 실패 유형을 세 가지 후보 클래스로 좁혀 줍니다. 이 후보에는 실제 유형이 다수 클래스 기준선보다 포함될 가능성이 높습니다. 실패 유형마다 위험도가 다르므로, 실무자는 모든 실패에 동일한 개입을 적용하는 대신 후보 중 위험도가 가장 높은 유형에 따라 정지, 재시도 또는 사람에게 제어권 넘기기 등의 대응 수준을 선택할 수 있습니다.
백본 임베딩에는 다수 클래스 기준선을 넘어 실패 유형을 예측할 만큼 충분한 정보가 담겨 있으므로, 실무자는 예측된 위험도에 맞춰 대응을 선택할 수 있습니다.
실무적 고려 사항
실제 시스템은 성능, 즉 적시성(T), 보정(C), 정보성(I)과 시스템 구축 및 운영 비용, 즉 효율성(E) 사이에서 균형을 맞춰야 합니다. 데이터셋 라벨링, 탐침 학습 및 보정, 추론 시 실행에 드는 비용을 평가합니다.
라벨링 비용은 실패 에피소드당 약 1센트입니다(이 논문에서 사용하지 않은 질의까지 포함한 전체 주석 비용은 $50 미만). 따라서 라벨링 비용은 저렴하며, 실무자는 시스템 배포 과정에서 이미 라벨이 없는 실행 기록을 보유하고 있는 경우가 많습니다.
조향 시연
VLA-Tug의 네 가지 속성인 적시성, 보정, 정보성, 효율성이 VLA 조향을 통한 실패 예방에 어떻게 함께 기여하는지 시연합니다. 효과적인 실패 예측기가 개입을 안내하는 신호를 제공할 수 있음을 보여주는 것이 목표이며, 조향 방법 자체를 개발하는 것은 아닙니다.
시각-언어 모델(VLM)과 같은 전문가 모델이 탐침의 예측에 따라 실패 복구 도구를 호출할 수 있는 조향 구조를 살펴봅니다. 실험에서는 시뮬레이션에서 실패 유형별 휴리스틱을 사용해 이 도구들을 구현하고, 실제 로봇에서 이에 해당하는 개입을 시연합니다.
예를 들어, 시뮬레이션 실행에서 과제는 “가장 큰 그릇을 그릇 건조대의 왼쪽 칸에 넣기”입니다. 그릇이 실수로 오른쪽 칸에 놓이기 전에 탐침이 경보를 울립니다. 말단 장치를 왼쪽으로 조향하면 정책이 다시 실행을 이어 가고 과제를 성공적으로 완료합니다. 개입하지 않으면 그릇이 오른쪽 칸에 놓여 과제에 실패합니다.
실제 환경에서의 실험에서도 VLA-Tug의 여러 속성이 VLA를 실패에서 벗어나도록 조향하는 데 도움이 됨을 보입니다. “버섯을 접시 위에 놓기” 과제에서 VLA-Tug를 사용하지 않으면 그리퍼가 버섯을 놓치고 탁자를 칩니다. VLA-Tug를 켜면 탐침이 곧 발생할 잡기 실패를 예측하고 교정 조치를 취합니다. 이 예시에서는 VLA를 잠시 멈추고, 전문가 모델이 궤적을 성공적인 경로로 수정하도록 한 다음 VLA를 다시 실행합니다.
이처럼 실패가 너무 늦기 전에 미리 예측하는 VLA-Tug와 같은 실패 감지기가 있으면 이러한 전략을 사용할 수 있습니다. 이 접근법은 조향 구조에 구애받지 않습니다. 강건한 조향 전략의 탐구는 향후 연구 과제로 남겨 둡니다. 이 예시는 안전하고 원칙에 기반한 로봇 시스템에서 VLA-Tug를 활용할 수 있음을 보여줍니다.
개념 검증 시연은 VLA-Tug가 VLA 실행 중 표적화된 개입에 필요한 시점 및 실패 유형 정보를 제공할 수 있음을 보여줍니다. 적시성은 개입 기회를 만들고, 보정은 개입이 시작되는 시점을 제어하며, 정보성은 어떤 개입을 적용할지 안내합니다. 효율성 덕분에 탐침은 VLA와 함께 작동할 수 있습니다.
결론
첫째, 보정 보장은 보정 에피소드와 테스트 에피소드 간의 교환가능성에 의존하며, 분포 변화가 커질수록 이 가정은 약해집니다. 실증적으로 성능 저하는 점진적으로 나타납니다. 둘째, 원본 백본 임베딩의 선택을 체계적으로 분석하지 않았습니다. 셋째, 전문가 모델이 예측된 실패에 개입하는 조향 구성 요소는 휴리스틱에 기반하며 이 연구의 범위에서 평가하지 않았습니다.
탐침 및 학습
정책의 매 단계에서 에이전트 카메라, 손목 카메라, 패딩을 적용하지 않은 언어 프롬프트의 백본 토큰을 각각 평균한 다음, 세 평균을 연결해 단일 특징 벡터를 만듭니다. 백본의 다른 특징은 사용하지 않습니다. 기준 방법을 포함한 이 논문의 모든 모델은 이 벡터를 입력으로 사용합니다.
벤치마크 및 분할
에이전트 시점 카메라에 가림을 적용한 LIBERO 확장판인 LIBERO-Occ의 10개 스위트를 사용합니다. 원래 벤치마크에서는 두 정책 모두 실패가 드물기 때문에 충분한 실패 사례를 확보하려고 가림이 있는 에피소드와 없는 에피소드를 같은 비율로 섞습니다. 정책별로 각각 250개씩 사용합니다.
기준 방법
모든 기준 방법을 탐침과 동일한 입력 및 분할로 다시 구현합니다. 기준 방법에 설정값 그리드가 있는 경우 모든 분할에서 그리드 전체를 실행하고, 각 설정에 대해 검증 에피소드의 평균 면적이 가장 높은 구성을 선택합니다. 보지 않은 과제는 절대 참조하지 않으며, 동률이면 그리드에서 앞선 구성을 선택합니다.
LIBERO-10과 실제 로봇에서는 실행 결과를 모아 방법별로 하나의 설정을 선택합니다. LIBERO-X에서는 SAFE가 자체 프로토콜과 동일하게 세 종류의 분할에 하나의 설정을 사용하고, 다른 모든 방법은 유보된 데이터셋의 종류별로 설정을 선택합니다. 탐침은 모든 설정에서 하나의 구조만 사용합니다.
지표
보고된 지표는 백분율로 나타내며, 명시된 이상적인 동작을 보이는 감지기의 점수가 100이 되도록 조정합니다.
정보성 세부 사항
이 절에서는 정보성 평가의 세부 내용을 설명합니다.
실패 유형의 분포가 크게 불균형하므로 균형 정확도를 보고합니다. 이는 각 클래스에서 올바르게 예측한 실패 비율의 평균입니다. 각 데이터셋에서 가장 작은 두 클래스를 반복해서 병합해 모든 클래스가 실패 사례의 5% 이상을 차지하도록 합니다. 이 규칙은 라벨 빈도만 사용합니다. 유형 분류 헤드는 다시 학습하지 않으며, 병합된 클래스의 확률은 해당 유형들의 확률을 합산해 계산합니다.
희귀 유형의 실패 사례가 분할마다 적으므로, 한 설정의 분할들을 통합한 예측을 바탕으로 정확도를 계산합니다. LIBERO-10은 클래스별 정확도를 산출할 만큼 실패 사례가 충분하지 않아 제외합니다. 클래스를 병합한 뒤에도 가장 작은 클래스의 실패 사례는 6~16개뿐이므로, 실패 한 건만으로도 클래스 정확도가 몇 퍼센트포인트씩 달라집니다.
비용 및 지연 시간
이 절에서는 실무적 고려 사항 평가의 세부 내용을 설명합니다.
절제 실험
지도 학습 전략, 보조 헤드, 평가에 사용한 실패 시점을 절제 실험으로 분석합니다.
조향 시연
조향은 VLA-Tug 신호를 어떻게 활용할 수 있는지 보여주는 용도로만 사용합니다. 휴리스틱은 단순하며 평가하지 않았습니다. 점수가 보정된 임계값을 넘으면 정책을 일시 중지하고, 예측된 실패 유형에 따라 개입을 선택해 적용한 뒤 정책을 다시 실행합니다.
LIBERO-X를 위해 세 가지 휴리스틱을 구현했습니다. 잘못된 대상 또는 놓기/삽입 실패의 경우 말단 장치를 목적지 쪽으로 조금 이동시킵니다. 잡기 실패의 경우 최근 이동 방향에 수직인 측면 방향으로 말단 장치를 이동시킵니다. 그 밖의 모든 예측 유형에서는 현재 상태에서 정책을 다시 계획합니다.
“흰색과 노란색이 섞인 머그컵을 선반 위에 놓기” 과제에서는 경보가 울린 뒤 탐침이 실패 유형을 예측하고, 이에 맞는 개입을 적용한 다음 정책을 다시 실행해 성공합니다. 개입하지 않으면 머그컵이 탁자 위에 놓이고 과제에 실패합니다.
자주 묻는 질문
VLA-Tug 탐침은 무엇을 입력으로 사용하나요?
정책의 각 단계에서 에이전트 카메라, 손목 카메라, 패딩을 적용하지 않은 언어 프롬프트의 평균 백본 토큰을 연결합니다. 다른 백본 특징은 사용하지 않습니다.
VLA-Tug는 실패 시점을 어떻게 정의하나요?
실패 시점 또는 실패 시작 시점은 정책이 명백한 실수를 하거나 개입이 필요할 만큼 진행이 정체되는 때입니다.
탐침은 실패 대응을 선택하는 데 어떻게 도움이 되나요?
실패 유형을 세 가지 후보 클래스로 좁혀 실무자가 예측된 위험에 적합한 개입을 선택하도록 도울 수 있습니다.
조향 시연의 한계는 무엇인가요?
조향 휴리스틱은 단순하며 강건한 조향 전략으로서 평가되지 않았습니다. 또한 보정 보장은 보정 에피소드와 테스트 에피소드 간의 교환가능성에 의존합니다.