위협 모델
시각 입력의 작은 영역을 수정해 월드 액션 모델(WAM)로 제어되는 로봇의 작업 성공률을 낮추려는 공격자를 가정합니다. 이는 비표적 테스트 시점 공격입니다.
공격 설계 및 구현
이 공격은 서로 다른 다운스트림 제어 아키텍처를 사용하는 WAM들이 공개 시각 인코더를 공유한다는 점을 이용합니다. 따라서 인코더 출력은 특정 행동 인터페이스와 무관한 공격 목표를 제공합니다. 국소적인 픽셀 변화가 더 넓은 장면 표현에 영향을 미치려면 인코더 내부의 전파 경로를 공략해야 합니다.
전체 잠재 출력에서, 즉 모든 공간 위치와 채널에 걸쳐 인코더의 원본 표현과 패치 적용 표현 간 차이를 최대화합니다. 여러 원본 관측에 걸쳐 동일한 패치를 최적화합니다.
실험 설정
LIBERO와 RoboTwin에서 폐루프 평가를 수행합니다. LIBERO에는 공간, 객체, 목표, 장기 과제의 네 가지 작업 범주가 있으며, 각 범주에 10개 작업이 포함됩니다. RoboTwin에는 50개 작업이 포함됩니다.
FastWAM을 기본 평가 모델로 사용합니다. 동일한 벤치마크 내 전이 평가에는 DreamWAM-uncond (DW-U), DreamWAM-joint (DW-J), Motus를 사용합니다. 각 모델 구성은 자체 행동 생성 과정과 전처리 방식을 유지합니다.
메커니즘 및 행동 분석
이 절에서는 TAPDreamer의 국소 픽셀 변화가 행동 실행의 편차로 이어지는 방식을 살펴봅니다. TAPDreamer로 인한 잠재 표현의 변화를 분석합니다.
결론
TAPDreamer는 공개 시각 인코더와 한 작업에서 얻은 관측 6개만 사용해 고정된 국소 패치를 최적화하지만, 두 개의 전체 벤치마크와 서로 다른 다운스트림 행동 아키텍처 전반에서 강력한 폐루프 간섭을 일으킵니다. 메커니즘 분석에 따르면 어텐션 가중치와 값의 변화가 상호작용해 국소 간섭을 먼 표현으로 전파하며, 최적화된 교란에 대한 반응은 작업 관측 간에 높은 일관성을 유지합니다.
행동 분석은 이러한 표현 취약성이 파지 및 자세 간섭으로 이어지는 과정을 보여주고, 지속적인 시각 입력의 즉각적인 효과와 실행 과정에서 누적되는 상태 결과를 구분합니다. 이 결과는 WAM의 강건성이 국소 시각 입력부터 표현, 생성, 제어에 이르는 전체 경로를 포괄해야 함을 보여줍니다.
윤리 성명
본 연구는 로봇 안전성 평가와 방어 연구에 기여하기 위해 월드 액션 모델이 국소 시각 교란에 취약한 지점을 밝히는 것을 목표로 합니다. 모든 실험은 LIBERO 및 RoboTwin 시뮬레이션 환경에서 수행했으며, 모델 입력 이미지를 수정해 공격을 구현했습니다.
이러한 기법이 로봇의 정상 작동을 방해하는 데 오용될 수 있음을 인지하고 있으며, 사용은 허가된 보안 테스트와 연구로 제한해야 한다고 강조합니다. 메커니즘 분석은 의심스러운 이미지 영역에서 키와 값을 약화하거나, 국소 교란 영역 외부의 표현을 유지하도록 인코더를 학습시키는 잠재적 방어책을 시사합니다. 이러한 개입은 패치로 유발된 변화가 어텐션을 통해 확산되는 현상을 겨냥합니다. 적응형 공격에 대한 효과와 정상 작업 성능에 미치는 영향은 추가 평가가 필요합니다.
어텐션 복원 개입
복원하지 않았을 때의 변화량으로 정규화해 원본 출력 대비 남은 변화량을 측정합니다. 잠재 표현 유지율의 경우 패치 영역을 포함한 전체 잠재 표현에서 L2 노름을 사용해 두 변화량을 측정합니다. 행동 유지율은 행동 출력에 해당하는 L2 비율을 사용합니다. 무작위 패치도 동일한 잠재 표현 유지율 지표로 평가합니다.
어텐션 재구성은 모델 추론과 수치 정밀도가 다르므로, 복원하지 않은 패치 적용 기준값은 동일한 재구성 경로를 통해 계산합니다. 이 비율은 유지된 변화량을 측정하며, 작업 성공률을 나타내지는 않습니다.
세 가지 개입 모두 TAPDreamer가 유발한 잠재 표현 변화의 약 33%와 행동 변화의 32%를 남깁니다. 이에 비해 무작위 패치의 잠재 표현 유지율은 약 1.000으로 유지됩니다. 따라서 어텐션 분기, 해당 가중치 또는 값을 복원하면 TAPDreamer로 인한 잠재 표현 및 행동 변화 대부분이 제거되지만, 무작위 패치에는 영향이 거의 없습니다.
행동 효과
앞선 분석에서는 패치로 유발된 교란이 어텐션을 통해 전파되는 방식과 최적화가 그 크기를 증폭하기 전에 공통 방향을 형성하는 과정을 살펴봤습니다. 이제 이러한 표현 변화가 행동 명령에 어떤 영향을 미치고, 결과적으로 작업 실패로 이어지는지 알아봅니다.
작업이 진행되면서 동일한 표현 변화가 서로 다른 행동에 영향을 줄 수 있습니다. 패치는 말단 장치가 원본 궤적보다 낮게 움직이도록 유도해 작업 완료를 막습니다. 표현 변화와 명령 및 물리적 결과 사이의 연관성을 확인하기 위해 동일 상태 행동 비교, 내부 복원, 패치 제거를 사용합니다.
작업: 알파벳 수프와 토마토소스를 바구니에 넣으세요.
자주 묻는 질문
TAPDreamer의 목적은 무엇인가요? 시각 입력의 작은 영역을 수정해 WAM으로 제어되는 로봇의 작업 성공률을 낮추는 것입니다.
패치를 최적화하려면 어떤 정보가 필요한가요? TAPDreamer는 공개 시각 인코더와 한 작업에서 얻은 관측 6개를 사용합니다.
폐루프 평가에는 어떤 벤치마크를 사용하나요? 평가에는 LIBERO와 RoboTwin을 사용합니다.
어텐션 복원 개입은 무엇을 보여주나요? TAPDreamer가 유발한 잠재 표현 변화의 약 33%와 행동 변화의 32%가 남으며, 무작위 패치의 잠재 표현 유지율은 약 1.000으로 유지됩니다.