분포 외 탐지
두 계열의 방법은 모두 비전-언어-행동 모델(VLA)에 한계가 있습니다. 밀도 기반 탐지기는 학습 과제의 분포를 암기하고, 지도 학습 탐지기는 분포 외 레이블이 필요하며 섭동이 달라지면 전이가 잘 되지 않습니다. 이에 우리는 정책 자체에 내재된 특성인 과제 진행 상황을, 분포 외 데이터에 대한 지도 없이도 보정된 분포 외 신호로 활용합니다. 이를 통해 실패 탐지를 모델이 스스로 표현하는 과제 완료 상태와 연결할 수 있습니다.
진행 상황 특성
과제 진행 상황은 런타임 모니터링에 유용한 신호입니다. 여러 바람직한 특성을 갖기 때문입니다. 전문가 궤적을 따라 단조롭게 감소하므로 정상 분포에서 예측 가능한 행동을 보이고, 오프라인 데이터에서 쉽게 레이블링할 수 있으며, 진행이 멈추면 분포 외 상태를 곧바로 포착합니다. 또한 여러 과제에 걸쳐 일반화됩니다.
진행 상황 특성을 활용한 분포 외 탐지
진행 상황 신호는 정책이 분포를 벗어나는 시점을 알려 주는 강력한 지표였습니다. 이에 우리는 프로브를 통해 디코딩한 진행 상황 특성에 기반해 분포 외 행동을 표시하는 방법을 개발했습니다.
진행 상황 편차는 예측된 진행 상황과 실제 진행 상황을 비교합니다.
롤아웃은 진행 상황 편차가 선택한 탐지 임계값을 처음으로 초과하는 순간 분포 외로 표시됩니다.
간단한 절차지만 프로브만으로도 진행이 멈춘 상태를 탐지할 수 있습니다. 탐지 임계값을 알고 있거나 쉽게 추정할 수 있다면 과제에 구애받지 않고 적용할 수 있으며, 분포 외 레이블도 필요하지 않습니다.
논의와 한계
과제 진행 상황은 정책의 활성화값에서 선형적으로 읽어낼 수 있고, 대규모 로봇 사전 학습을 통해 나타나며, 비지도 분포 외 탐지기를 지원하고, 언어적 반사실 조건에 따라 달라집니다. 그러나 이 특성은 조향할 수 없으며, 정책이 표현하는 것과 실제로 행동에 사용하는 것 사이의 간극을 드러냅니다.
앞으로는 비전-언어-행동 백본 전반에서 진행 상황의 디코딩 가능성을 평가하고, 실제 로봇 롤아웃에서 분포 외 탐지기를 검증하며, 스칼라 진행 상황을 넘어 더 풍부한 과제 조건부 신호를 탐색할 수 있습니다. 본 연구는 선형적으로 읽어낼 수 있는 의미 특성이 실제 배포된 시각운동 정책을 모니터링하는 가벼운 수단이 될 수 있음을 보여 줍니다. 이는 비전-언어-행동 모델에 점점 더 폭넓게 적용되는 무거운 해석 가능성 도구를 보완합니다.
모델과 데이터셋
모든 실험은 VLABench에서 수행했습니다. 이 시뮬레이터는 다음 10개 주요 과제로 구성된 기초 데이터셋을 제공합니다.
- 조미료 추가: 목표 조미료를 집어 접시 위에 붓습니다.
- 과일 선택: 목표 과일을 집어 접시 위에 놓습니다.
- 음료 선택: 냉장고에서 목표 음료를 꺼냅니다.
- 꽃 꽂기: 목표 꽃을 집어 꽃병에 꽂습니다.
- 포커 카드 선택: 테이블에서 목표 카드를 집습니다.
- 마작 패 선택: 테이블에서 목표 마작 패를 집습니다.
- 책 선택: 책장에서 목표 책을 꺼냅니다.
- 화학 튜브 선택: 화학 약품 홀더에 있는 목표 튜브를 건드립니다.
- 장난감 선택: 목표 장난감을 집어 상자에 넣습니다.
- 그림 선택: 목표 그림에 해당하는 버튼을 누릅니다.
데이터셋은 과제당 500개씩, 총 5,000개의 궤적으로 구성됩니다. 장면마다 프롬프트와 물체를 달리해 다양성을 유지했습니다.
관측 가능성과 제어 가능성에 대비한 디코딩 가능성과 조향 가능성
특성 관측 가능성은 임베딩을 입력받아 해당 특성을 출력하는 어떤 함수가 존재하는 것으로 정의합니다.
약한 디코딩 가능성
이와 달리 우리는 선형 함수만으로 디코딩 가능성을 측정합니다. 이는 표현에서 특성을 선형적으로 복원할 수 있어야 한다는 뜻이며, 관측 가능성보다 엄격한 기준입니다. 또한 위험을 최소화하기 위해 관측 가능성에서 요구하는 동일성 조건을 완화합니다. 특성을 정확히 재현하는 대신 낮은 오차로 복원하면 되므로, 동일성보다는 높은 상관을 목표로 합니다.
표현에서 특성을 정확히 복원할 수 없더라도, 낮은 오차로 선형 디코딩할 수 있다면 해석과 제어에 여전히 유용합니다.
특성 제어 가능성은 수정된 활성화값을 주입해 활성화 전반에 특성을 전파하는 함수의 능력으로 정의합니다.
하지만 이 정의는 특성이 전파될 수 있는지만 확인할 뿐, 다음을 검증하지 않으므로 사용하지 않습니다.
- 입력이 주어졌을 때 특성의 품질을 평가하지 않습니다.
- 특성이 모델의 행동을 변화시키도록 요구하지 않습니다.
강한 디코딩 가능성
입력을 섭동했을 때 출력이 해당 입력이 함의하는 실제 정답으로 향하면 그 특성을 강하게 디코딩 가능하다고 부릅니다. 이는 더 강한 조건입니다. 해석자가 특성이 입력에 의존하는 방식을 정의할 수 있기 때문입니다. 예를 들어 과제 진행 상황이 지시문과 궤적 시간에 맞춰 변화하도록 요구하면 특성에 더 자연스러운 조건을 부여할 수 있습니다.
조향 가능성
특성을 섭동했을 때 새로운 특성값이 생성되고, 그 값이 모델이 일치하는 실제 정답 입력에 대해 보일 반응과 같은 반응을 이끌어 내면 해당 특성은 조향 가능하다고 합니다. 이는 특성과 모델 행동 사이의 인과성을 일정 부분 확립합니다. 특성을 섭동해 얻은 반응이 그 값이 실제 특성이었을 때 관찰했을 반응을 재현하기 때문입니다.
이러한 변형들은 특성의 견고성과 인과성을 함께 검증함으로써 특성을 제어하기 위한 더 강력하고 다양한 조건을 부과합니다. 두 요소 모두 해석 가능성과 제어에 핵심적입니다.
자주 묻는 질문
과제 진행 상황이 런타임 모니터링에 유용한 이유는 무엇인가요? 전문가 궤적을 따라 단조롭게 감소하고, 오프라인 데이터에서 레이블링할 수 있으며, 진행 정체를 표시하고, 여러 과제에 걸쳐 일반화되기 때문입니다.
진행 상황 특성은 분포 외 탐지를 어떻게 지원하나요? 예측된 진행 상황과 실제 진행 상황의 편차가 선택한 임계값을 처음으로 초과하면 롤아웃을 분포 외로 표시합니다.
VLABench 데이터셋에는 어떤 과제가 포함되나요? 조미료, 과일, 음료, 꽃, 포커 카드, 마작 패, 책, 화학 튜브, 장난감, 그림을 다루는 10개 과제가 포함됩니다.
강한 디코딩 가능성과 약한 디코딩 가능성은 어떻게 다른가요? 약한 디코딩 가능성은 낮은 오차로 선형 복원이 가능한지를 평가하는 반면, 강한 디코딩 가능성은 입력을 섭동해 출력이 그 입력이 함의하는 실제 정답에 가까워지도록 요구합니다.