임베디드 AI 시스템에 대한 공격은 모델 실패가 물리적 결과로 이어질 수 있기 때문에 특히 우려됩니다. 이전 연구에서는 인식 모듈, 강화 학습 에이전트 및 임베디드 정책에 대한 공격을 다루었으며, 여기에는 관찰, 타이밍 또는 환경 신호를 변경하는 섭동이 포함됩니다. 이러한 공격은 일반적으로 반응형 의사 결정을 대상으로 합니다. 반응형 정책 a = π(o)의 경우, 관찰 공격은 δ = argmax L(a_clean, a_adv)로 작성하거나 폐루프 평가에서 작업 보상 또는 성공을 최소화하는 것으로 작성할 수 있습니다. BadWAM은 이 관점을 출력에 행동과 상상된 미래가 모두 포함되는 예측-행동 모델로 자연스럽게 일반화합니다. 이제 관련 질문은 더 이상 행동이 변경되는지 여부뿐만 아니라, 상상이 그럴듯한 상태에서 행동이 변경되는지 여부입니다.
우리의 설정과 가장 가까운 것은 상상-후-행동 세계 모델에 대한 오라클 수준 무결성 공격에 대한 최근 연구입니다. 해당 연구는 VLA 스타일 및 세계 모델 기반 시스템을 다루며, 여기서 상상된 미래는 안전 게이트, MPC 계획자 또는 상상-후-확인 검증기와 같은 다운스트림 오라클에 의해 소비됩니다. 이 연구는 신뢰할 수 있는 상상을 손상시키면 미래 예측에 의존하는 시스템이 손상될 수 있음을 보여줍니다. BadWAM은 보완적인 실패 모드를 연구합니다. 상상된 미래를 주요 대상으로 공격하는 대신, 배포된 WAM 제어기에서 상상과 행동 간의 정렬을 목표로 합니다. 우리는 행동과 상상이 적대적으로 비동기화될 수 있음을 보여줍니다. 예측된 미래는 깨끗한 예측에 가깝게 유지되는 반면, 실행된 행동은 작업 실패를 유발할 만큼 충분히 변경됩니다.
이 구분은 우리의 위협 모델의 핵심입니다. 안전 모니터가 그럴듯한 상상된 미래를 신뢰한다면, 순수한 상상 기반 검사는 미래 예측을 유지하면서 행동을 가로채는 공격을 놓칠 수 있습니다. 따라서 BadWAM은 행동과 상상 간의 정렬을 보안에 중요한 대상으로 취급합니다. 우리의 행동 전용 적대적 공격은 작업 방해를 우선시하는 반면, 상상 보존 적대적 공격은 공격 강도와 은밀성 간의 균형을 명시적으로 연구합니다.
BadWAM 프레임워크
BadWAM은 세계-행동 드리프트 공격을 모델링하고 평가하기 위한 통합 프레임워크입니다. 이 프레임워크는 WAM을 질의 가능한 예측-행동 시스템으로 취급하고 각 재계획 단계에서 제한된 시각적 섭동을 최적화합니다. 두 가지 공격 인스턴스화는 공격 강도/은밀성 스펙트럼의 두 지점에 해당합니다: 실행 실패를 우선시하는 행동 전용 적대적 공격과 예측된 미래 드리프트를 추가로 제약하는 상상 보존 적대적 공격.
설계 동기
따라서 우리는 BadWAM을 두 가지 거리를 중심으로 공식화합니다. d_action은 깨끗한 행동 청크와 공격된 행동 청크 간의 편차를 측정하고, d_imagination은 깨끗한 상상과 공격된 상상 간의 드리프트를 측정합니다. 이러한 거리는 인터페이스 수준의 양입니다. 특정 WAM 아키텍처가 필요하지 않으며 해당 출력에 대한 접근만 있으면 됩니다. 개념적으로, 은밀한 적대적 공격은 상상 드리프트를 모니터링 가능한 임계값 아래로 유지하면서 제한된 시각적 섭동 하에서 큰 행동 편차를 추구합니다:
max_δ d_action(a_clean, a_adv) subject to d_imagination(i_clean, i_adv) ≤ τ and ||δ||_∞ ≤ ε
이것이 핵심 BadWAM 공격 표면을 정의합니다. 아래의 두 가지 공격은 이 목적 함수의 서로 다른 완화를 인스턴스화합니다.
행동 전용 적대적 공격
행동 전용 공격은 BadWAM의 높은 강도 끝을 포착합니다. WAM을 질의 가능한 제어기로 취급하고 순수하게 실행 방해에 집중합니다. 상상된 미래에 대한 어떤 제약도 적용하지 않고, 깨끗한 행동 청크와 공격된 행동 청크 간의 편차를 최대화하는 제한된 시각적 섭동을 검색합니다:
max_δ d_action(a_clean, a_adv) subject to ||δ||_∞ ≤ ε
깨끗한 행동 청크는 참조로만 사용됩니다. 공격자는 최적화 중에 실제 전문가 행동이나 작업 성공 레이블이 필요하지 않습니다. 이는 관찰 가능한 출력이 로봇 제어기로 전송되는 행동 명령인 배포된 정책 인터페이스에 공격을 적용 가능하게 만듭니다.
단순하지만 이 목적은 이미 매우 파괴적입니다. 폐루프 실험에서 행동 전용 공격은 하나의 WAM 변형의 작업 성공률을 96.5%에서 43.1%로 낮춥니다. 따라서 우리는 이를 BadWAM의 높은 강도 끝점으로 사용합니다. 동시에, 이 공격은 단순히 구조화되지 않은 출력 손상이 아닙니다: 유도된 변화는 행동 채널과 시간적 지평선 세그먼트 모두에 걸쳐 고르게 분포되지 않습니다. 예를 들어, 섭동은 변환 및 그리퍼 명령과 같은 작업 관련 채널에 집중되는 반면, 시간적 집중은 WAM 변형에 따라 다릅니다. 이는 평가에서 채널 수준 및 지평선 수준 행동 통계를 기록하게 합니다.
상상 보존 적대적 공격
행동 전용 목적은 상상된 미래에 어떤 일이 일어날지 제어하지 않습니다. 상상된 미래를 계획자, 모니터 또는 상상-후-확인 안전 게이트에 노출하는 WAM 배포의 경우, 이는 불충분합니다: 더 은밀한 공격은 모델의 깨끗한 상상을 유지하면서 실행을 저하시켜야 합니다. 따라서 BadWAM은 라그랑지안 완화를 풀어 상상 보존 공격을 인스턴스화합니다:
max_δ d_action(a_clean, a_adv) - λ · d_imagination(i_clean, i_adv) subject to ||δ||_∞ ≤ ε
계수 λ는 공격 강도와 은밀성 사이의 균형을 제어합니다. λ = 0일 때 목적은 순수한 행동 방해로 축소됩니다. λ가 증가함에 따라 최적화기는 상상된 미래를 변경하지 않도록 억제되어 공격이 더 은밀해지지만 잠재적으로 덜 손상을 줍니다.
디코딩된 미래 비디오를 사용할 수 있을 때, 우리는 상상 거리를 평균 프레임 수준 거리로 인스턴스화합니다:
d_imagination = (1/T) Σ_t ||i_clean_t - i_adv_t||_2
동일한 목적은 프레임 수준 거리를 잠재 공간 거리로 대체하여 잠재 미래에 적용할 수 있습니다. 어느 경우든, 공격은 WAM 특정 실패를 대상으로 합니다: 로봇이 비동기화된 행동을 실행하면서 그럴듯한 미래를 상상하는 것처럼 보일 수 있습니다.
질의 기반 온라인 최적화
BadWAM은 WAM을 통해 역전파하거나 모델 매개변수에 접근하지 않습니다. 각 재계획 단계에서 공격자는 WAM을 질의 가능한 입력-출력 시스템으로 취급하고 0차 유한 차분 질의로 공격 목적을 최적화합니다. 구체적으로, 현재 섭동 δ에 대해 공격자는 무작위 방향 u를 샘플링하고 양 및 음으로 섭동된 관찰 하에서 스칼라 목적을 평가합니다. 이는 추정기를 제공합니다:
∇̂L(δ) = (L(δ + σu) - L(δ - σu)) / (2σ) · u
이 최적화는 WAM 출력에서 계산된 목적 값만 사용하기 때문에 0차입니다. 그래디언트, 모델 가중치 또는 훈련 데이터가 필요하지 않습니다. 동일한 최적화기는 스칼라 목적 L만 변경함으로써 두 BadWAM 인스턴스화를 모두 지원합니다: 행동 전용 공격은 행동 편차를 점수화하고, 상상 보존 공격은 미래 예측 일관성과 함께 행동 편차를 점수화합니다.
각 재계획 단계에 대해 BadWAM은 질의 예산 내에서 발견된 최상의 섭동을 유지합니다. 그런 다음 최종 적대적 관찰이 로봇에 의해 실행될 행동 청크를 생성하는 데 사용됩니다. 이 온라인 설계는 별도의 공격 모델 훈련을 피하고 현재 관찰, 명령 및 로봇 상태에 자연스럽게 적응합니다.
폐루프 실행 및 측정
BadWAM은 폐루프 실행 하에서 평가됩니다. 공격은 각 재계획 단계에서 재계산되고, WAM은 공격된 행동 청크를 출력하며, 로봇은 다음 재계획 전에 선택된 행동을 실행합니다. 이 설정은 단일 단계 행동 비교보다 더 신뢰할 수 있습니다. 작은 행동 변화가 시간이 지남에 따라 누적되어 여러 재계획 후에만 작업 실패를 유발할 수 있기 때문입니다.
우리는 세 가지 측정 그룹을 보고합니다. 첫째, 폐루프 성공률과 깨끗한 실행 대비 유도된 실패를 사용하여 작업 수준 공격 효과를 측정합니다. 둘째, 행동 거리, 행동 채널 통계 및 지평선 수준 행동 변화를 사용하여 행동 방해를 측정합니다. 셋째, 상상 보존 공격의 경우 예측된 미래 거리와 적대적 점수를 사용하여 은밀성을 측정합니다. 이러한 메트릭은 두 가지 질문을 분리합니다: 로봇이 실패하는지, 그리고 실패가 WAM의 상상된 미래를 통해 보이는지 여부입니다.
실패는 스위트 및 시험 전반에 걸쳐 체계적입니다
공격이 몇 가지 작업 유형에 집중되는지 아니면 벤치마크 전반에 걸쳐 지속되는지 테스트하기 위해, 우리는 LIBERO 스위트별로 성공을 분류합니다. 가장 큰 감소는 정밀한 공간 제어 또는 장기간 실행이 필요한 작업에서 발생합니다. 행동 전용 WAM의 경우, 공간 성공률은 96.5%에서 16.0%로 떨어지고, 목표 성공률은 97.0%에서 40.0%로, 장기간 성공률은 92.5%에서 23.5%로 떨어집니다. 객체 작업은 93.0%로 비교적 견고합니다. 조인트 및 IDM WAM도 동일한 질적 패턴을 보이지만, 저하 정도는 덜 극단적입니다. 예를 들어, 행동 전용 공격 하의 조인트 WAM은 공간에서 52.0%, 장기간에서 42.0%의 성공률에 도달하지만 객체에서는 92.5%를 유지합니다.
이 스위트 수준 구조는 BadWAM이 단순히 시각적 인식을 균일하게 파괴하는 것이 아님을 시사합니다. 작은 행동 편차가 기하학, 접촉 타이밍 또는 순차적 의존성을 통해 누적될 수 있을 때 가장 효과적입니다. 객체 중심 작업은 관련 어포던스가 보이고 도달 가능한 한 적당한 드리프트를 종종 견딥니다. 공간 및 장기간 작업은 잘못된 접근 방향, 그립 위치 또는 그리퍼 타이밍에 대해 더 적은 여유를 남깁니다.
이러한 결과가 WAM 안전에 시사하는 바는 무엇인가?
모든 연구 질문에 걸쳐 결과는 상상 기반 안전 검사에 대한 미묘한 실패 모드를 지적합니다. 자연스러운 WAM 모니터는 예측된 미래를 검사하고 미래가 그럴듯해 보이면 행동을 수락할 수 있습니다. BadWAM은 이 기준이 불완전함을 보여줍니다. 관련 보안 속성은 고립된 상상된 미래의 그럴듯함이 아니라 상상된 미래와 실제로 실행될 행동 간의 동기화입니다. 일치 강도 실행에서 상상 보존 목적은 40개의 LIBERO 작업 중 39개에서 예측된 미래 드리프트를 낮추면서도 상당한 폐루프 실패를 유발합니다. 시각적 미래 그럴듯함만 점수화하는 모니터는 행동 채널이 실패로 이동한 후에도 만족될 수 있습니다.
이는 또한 공격이 WAM 특정인 이유를 설명합니다. 기존의 행동 전용 정책의 경우, 적대적 섭동은 행동 또는 최종 작업 결과에 대한 효과를 통해서만 평가될 수 있습니다. WAM의 경우, 공격자는 미래-상상 인터페이스와 행동 인터페이스라는 두 인터페이스 간의 간격을 악용할 수 있습니다. 행동 전용 BadWAM 목적은 이 스펙트럼의 높은 강도 끝점을 대상으로 하고, 상상 보존 목적은 더 은밀한 끝점을 대상으로 합니다. 후자는 예측된 미래를 계획자, 런타임 모니터 또는 인간 감독자에게 노출하는 시스템에 특히 관련이 있습니다. 예측된 미래가 깨끗한 예측과 시각적으로 가깝게 유지되더라도, 실행된 행동 청크는 더 이상 그 미래를 실현할 행동이 아닐 수 있습니다.
방어 실험은 동일한 교훈을 강화합니다. 전처리는 유용한 진단 도구가 될 수 있지만, WAM 안전에 대한 원칙적인 해결책은 아닙니다. 실용적인 방어는 깨끗한 제어를 유지하면서 행동과 상상이 폐루프 궤적에 걸쳐 상호 일관성을 유지하는지 확인해야 합니다. 우리 실험의 낮은 재현율 탐지기는 중간 정도의 AUROC가 로봇 안전에 충분하지 않음을 더 보여줍니다: 런타임 모니터는 매우 낮은 위양성률에서 작동해야 하며, 여기서 재현율을 유지하기 가장 어렵습니다.
마지막으로, 전이 결과는 취약성이 단순한 구현 아티팩트가 아님을 시사합니다. 한 WAM 변형에서 최적화된 섭동은 다른 변형에서도 손상을 유지하여, 행동 생성에 영향을 미치는 공유 관찰 공간 방향을 나타냅니다. 따라서 WAM 안전 평가는 깨끗한 성공률과 공격된 성공률을 넘어서야 합니다. 또한 행동 거리, 예측된 미래 거리, 입력 인지 가능성, 지평선 수준 변화 및 작업군별 실패 분포를 보고해야 합니다. 이러한 메트릭은 명백한 행동 하이재킹과 더 은밀한 상상 보존 실패를 구분하고, 방어가 하나의 섭동 패턴을 가리는 대신 행동-상상 동기화를 복원하는지 테스트합니다.
발견 요약
평가는 여섯 가지 결론을 지원합니다. 첫째, BadWAM은 WAM 변형 전반에 걸쳐 폐루프 성공을 상당히 낮추며, 약 30%-50%의 감소를 보입니다. 둘째, 실패는 체계적입니다: 반복된 시험에 걸쳐 지속되며 공간 및 장기간 작업에서 가장 강합니다. 셋째, 공격은 즉각적인 무작위 행동보다는 구조화된 폐루프 실패를 유도합니다. 넷째, 상상 보존은 측정 가능한 은밀성 균형을 만듭니다: 예측된 미래를 깨끗한 롤아웃에 더 가깝게 유지하면서 비교 가능한 섭동 예산과 상당한 공격 강도를 유지합니다. 다섯째, BadWAM은 조정 가능한 민감도 프론티어를 노출합니다: 공격 강도는 섭동 크기, 미래 보존 가중치 및 질의 예산에 크게 의존합니다. 여섯째, 취약성은 하나의 모델에 국한되지 않습니다: 공격은 WAM 변형 간에 전이되며, 간단한 탐지 기준선은 실용적인 위양성률에서 대부분의 공격을 놓칩니다.
함께, 이러한 결과는 WAM 안전이 상상된 미래가 그럴듯해 보이는지 묻는 것으로 축소될 수 없음을 보여줍니다. 더 보안 관련 질문은 모델의 상상된 미래와 선택된 행동이 적대적 관찰 섭동 하에서 동기화된 상태를 유지하는지 여부입니다.
자주 묻는 질문
BadWAM이 무엇인가요? BadWAM은 세계-행동 모델의 상상된 미래 예측과 실행된 행동을 비동기화하여, 예측된 미래가 정상적으로 보일 때도 작업 실패를 유발하는 프레임워크입니다.
상상 보존 공격은 행동 전용 공격과 어떻게 다른가요? 상상 보존 공격은 예측된 미래의 드리프트를 패널티하는 정규화 항을 추가하여 공격을 더 은밀하게 만들면서도 상당한 작업 실패를 유발합니다.
어떤 유형의 작업이 BadWAM 공격에 가장 취약한가요? 공간 추론 및 장기간 조작 작업이 가장 취약하며, 객체 중심 작업은 적당한 행동 드리프트에 대한 내성으로 인해 비교적 견고합니다.
BadWAM 공격이 다른 WAM 모델 간에 전이될 수 있나요? 네, 한 WAM 변형에서 최적화된 섭동은 다른 변형에서도 손상을 유지하여, 모델 간 행동 생성에 영향을 미치는 공유 관찰 공간 방향을 나타냅니다.