기반 모델은 로봇 제어 루프를 재편하고 있다
기반 모델을 유용하게 만드는 능력은 로봇이 의사결정에 중요하다고 간주할 수 있는 입력의 범위도 넓힌다. 기존 로봇은 대개 구조화된 목표, 센서 스트림, 고정된 API를 입력으로 받는다. 반면 기반 모델 기반 로봇은 자연어 지시, 장면 속 텍스트, 검색된 웹·RAG 콘텐츠, 상호작용 기록, 장기 기억, 다른 에이전트의 메시지, 다양한 멀티모달 관측까지 읽을 수 있다. 이러한 정보가 제어 루프에 편입되면, 통상 ‘의미적 콘텐츠’로 여겨지던 데이터가 물리적 권한을 획득할 수 있다. 따라서 공격자는 모터 컨트롤러, ROS 노드, 액추에이터를 직접 장악할 필요가 없다. 모델이 신뢰하는 정보를 조작하는 것만으로도 시스템이 스스로 공격자가 원하는 행동을 생성하게 만들 수 있다.
체화 에이전트 보안이 텍스트 전용 LLM 보안과 다른 이유
체화 시스템에는 텍스트 에이전트에는 없거나 훨씬 덜 두드러지는 위험도 존재한다. 첫째, 환경·센서 공격은 시야각, 거리, 가림, 조명, 동역학 등 물리적으로 실현 가능한 조건을 충족해야 한다. 둘째, 연속 제어에서는 시간에 따른 오차 누적이 발생한다. 한 시점의 작은 오류가 다음 관측을 바꾸고, 긴 시간 지평에서 증폭될 수 있다. 셋째, 충돌, 물체 낙하, 위험한 접촉처럼 되돌릴 수 없는 물리적 결과가 발생할 수 있다. 넷째, 실행 중 방어는 엄격한 지연 시간 예산 안에서 작동해야 한다. 다섯째, 픽셀에서 의미 상태로, 언어에서 계획으로, 계획에서 실행 가능한 행동으로 이어지는 이질적 표현 변환은 여러 권한 전이를 만든다. 그러므로 체화 AI 보안은 LLM 탈옥, 적대적 비전, 전통적 로봇 사이버보안의 단순한 합이 아니라 사이버-물리 에이전트 보안으로 보는 편이 타당하다.
기존 서베이가 다루는 범위와 여전히 남은 공백
그러나 “특정 체화 공격은 정확히 시스템의 어디로 들어오는가?”라는 질문에 답하려 할 때, 공격 메커니즘이나 모델 유형을 중심으로 한 분류는 여전히 모호할 수 있다. 백도어는 학습 중 삽입되지만 언어, 물리적 객체, 상태 패턴, 행동 청크에 의해 발동될 수 있다. 프롬프트 인젝션은 현재 사용자, 환경 속 화면, RAG 문서, 다른 로봇에서 유입될 수 있다. 적대적 패치는 주로 인식을 교란하지만, 연쇄적 사고나 연속 행동 생성을 탈취하도록 최적화될 수도 있다. ‘백도어’, ‘프롬프트 인젝션’, ‘패치’를 최상위 공격 표면으로 취급하면 공격이 어떻게 구현되었는지와 처음 신뢰 경계를 넘은 위치의 구분이 사라진다.
우리의 관점, 연구 질문, 기여
우리는 다음 다섯 가지 연구 질문을 다룬다.
- RQ1: 기반 모델 기반 체화 에이전트를 통합 폐루프 시스템으로 어떻게 표현해야 하며, 신뢰 경계는 어디에 그어야 하는가?
- RQ2: 현재 공격은 어떤 신뢰 경계를 가장 자주 노리며, 공격 메커니즘은 여러 계층을 거쳐 물리적 실행으로 어떻게 전파되는가?
- RQ3: 기존 방어는 어디에 배치되어 있으며, 방어 범위는 노출된 공격 표면의 분포와 일치하는가?
- RQ4: 모델, 계획, 행동, 물리 계층에서 현재 어떤 지표를 사용하며, 어떤 폐루프 지표가 아직 부족한가?
- RQ5: 장기 기억, 월드 모델, 엔드투엔드 VLA, 다중 로봇 협업, 클라우드-엣지 통합이 보편화될 때 어떤 보안 문제를 우선해야 하는가?
우리의 기여는 네 가지다. 첫째, 개발·공급망에서 물리적 실행에 이르는 폐루프 정보·제어 시스템으로 체화 에이전트를 모델링하고, 공격의 진입, 전파, 결과를 명시적으로 구분한다. 둘째, 5개 계층과 12개 표면으로 구성된 분류 체계와 의사결정 규칙을 제시해 탈옥, 백도어, 포이즈닝, 센서 스푸핑 같은 메커니즘과 시스템 진입점을 서로 직교하는 차원으로 만든다. 셋째, 58개 공격 기록과 61개 방어 기록을 바탕으로 정량적 지형을 분석해 공격과 방어 연구의 관심 비대칭을 드러낸다. 넷째, 분류 체계를 평가·배포와 연결하고, 폐루프 공격 성공, 장기 인과 전파, 물리적 실현 가능성, 출처 검증, 조합적 방어를 중심으로 연구 의제를 도출한다.
범위와 연구 대상
우리는 LLM, VLM, VLA, 월드 모델, 월드-액션 모델이 인식, 상태 구성, 과업 계획, 정책 생성, 도구 사용, 행동 제어에 실질적으로 참여하는 체화 시스템에 초점을 맞춘다. 범위에는 계층형 LLM 플래너-스킬 실행기 구조, VLM 기반 내비게이션, 엔드투엔드 VLA 조작, LLM 통합 이동 로봇, 다중 로봇 LLM 협조, 그리고 이러한 시스템과 직접 연결되는 ROS/ROS2·네트워크·클라우드 모델 인프라가 포함된다.
기존 로봇 보안 연구를 무차별적으로 포함하지 않기 위해 다음 세 가지 포함 계층을 사용한다.
- A–Core: 체화 제어 루프의 LLM, VLM, VLA, WAM 구성요소와 관련된 공격·방어를 직접 연구한 논문.
- B–Adjacent: VLA, 자율주행, 비전-언어 내비게이션 또는 대상 시스템에 직접 이전 가능한 메커니즘을 주로 다룬 논문.
- C–System Extension: 기반 모델을 중심에 두지는 않지만, 배포 시스템의 일부를 이루는 ROS, 네트워크, 다중 로봇, 공급망 경계를 직접 다룬 논문.
이 설계는 서베이의 초점을 유지하면서도 기반 모델 로보틱스와 인위적으로 분리될 수 있는 인프라 위험을 보존한다.
코퍼스와 시간적 범위
이번 버전의 코퍼스에는 2026년 8월 15일까지의 공격 기록 58건과 방어 기록 61건이 포함되어 있다. 공격 코퍼스는 A–Core 50건, B–Adjacent 3건, C–System Extension 5건으로 구성되며, 방어 코퍼스는 각각 36건, 22건, 3건이다. 기반 모델 기반 로봇 SoK와 VLA 안전성 서베이를 주요 출발점으로 삼고, LLM 에이전트 보안, LLM 제어 로보틱스 위험 서베이, 월드 모델 보안 서베이와 대조했으며, 2026년 중반 이후의 최신 연구도 포함했다.
‘거의 포괄적’이라는 표현은 빠르게 변화하는 분야의 모든 논문을 문자 그대로 빠짐없이 포함한다는 보장을 뜻하지 않는다. 2026년 연구 다수는 arXiv 프리프린트로 먼저 공개되며, 게재 학회나 실험 세부사항이 바뀔 수 있다. 따라서 이 코퍼스는 영구적으로 닫힌 문헌 목록이 아니라 동적인 시점별 스냅샷으로 이해해야 한다.
코딩 필드와 다중 레이블 원칙
각 공격 기록에는 최소한 연도, 출판 상태, 모델 유형, 포함 계층, 수명주기 단계, 공격 메커니즘, 공격 표면 코드, 주요 표적 모듈, 공격자 접근 권한, 보안 목표, 물리·현실 세계 검증 여부, 평가 플랫폼, 방법 요약, 주요 결과를 기록한다. 방어 기록에는 방어 단계, 방어 메커니즘, 적용 표면, 표적 모듈, 필요한 접근 권한, 방어 유형, 검증 환경을 추가로 기록한다.
공격 표면에는 여러 레이블을 붙일 수 있지만, 주요 진입 표면과 전파·표적 표면은 반드시 구분한다. 악성 사용자 프롬프트가 과업 계획을 바꾸고 결국 위험한 API 호출을 유발한다면 AS02가 주요 진입점이며, AS08과 AS09는 하류 표적이다. 공격자가 로봇 스킬이나 행동 토큰을 직접 수정한다면 AS09가 주요 표면이다. 백도어의 경우 학습 중 삽입된 악성 능력은 배포 시 언어·시각 트리거로 발동되더라도 AS01로 코딩한다. 이러한 규칙은 최종적인 물리적 오류를 무차별적으로 AS12로 재분류하는 일을 막는다.
여섯 가지 코딩 차원
주요 표면을 결정할 때 다음 여섯 가지 상호보완적 차원을 사용한다.
- 표현 유형: 자연어 과업, 원시 이미지·오디오·LiDAR, 구조화된 상태, 연쇄적 사고·은닉 상태, 과업 계획, 코드, JSON·행동 토큰, ROS 메시지를 구분한다.
- 수명주기 단계: 학습·파인튜닝·모델 배포와 관련된 개발 시점 위협과 배포 시점의 프롬프트·센서·상태·네트워크 공격을 구분한다.
- 출처와 권한: 정보가 인증된 사용자, 환경, RAG·메모리, 도구, 클라우드 서비스, 다른 로봇 중 어디에서 왔는지 판단한다.
- 전파 범위: 로봇 내부 장악, 로봇 간 전파, 공유 메모리 전파, 플릿 수준 전파를 구분한다.
- 보안 속성: 무결성, 가용성, 기밀성·프라이버시, 물리적 안전을 공격 표면이 아니라 공격 목표로 취급한다.
방법론적 한계
세 가지 한계는 피할 수 없다. 첫째, 최근 논문 일부는 프리프린트이며 게재 상태나 실험 세부사항이 바뀔 수 있다. 둘째, 엔드투엔드 VLA에서 인식·추론·행동 생성이 긴밀히 결합되어 있을 때처럼 다중 레이블 코딩에는 필연적으로 판단이 개입된다. 셋째, 논문 수는 실제 공격 가능성이 아니라 연구 관심을 측정한다. 많이 연구된 표면이 배포 환경에서 자동으로 더 위험한 것은 아니다. 따라서 정량 분석은 실제 사고 빈도의 추정치가 아니라 연구 밀도와 공격-방어 불균형을 보여주는 지도로 해석해야 한다.
진입, 전파, 표적, 결과
공격은 진입 표면, 전파 경로, 표적, 결과를 설명하는 튜플로 표현한다.
이 튜플은 공격자가 처음 침해한 경계, 이후의 전파·표적 표면, 그리고 그 결과를 나타낸다.
이 구분은 최종 결과에 따른 분류를 막는다. 프롬프트 인젝션 때문에 로봇이 위험한 행동을 실행했다고 해서 AS12가 주요 표면이 되는 것은 아니다. 공격자가 궤적, 액추에이터 명령, 정지·동결 로직, 가용성 경계를 직접 조작한 경우에만 AS12가 주요 표면이다. 마찬가지로 악성 프롬프트가 잘못된 연쇄적 사고를 유발했다고 해서 자동으로 AS07 공격이 되는 것도 아니다. 추론이나 내부 표현 자체가 직접 표적이 되었을 때 AS07이 주요 표면이다.
공격자 능력과 접근 모델
문헌에는 블랙박스부터 화이트박스까지 다양한 공격자가 등장한다. 블랙박스 공격자는 언어를 입력하거나 환경 속 객체를 조작하거나 출력을 질의할 수 있다. 그레이박스 공격자는 아키텍처, 스킬 인터페이스, 일부 상태를 알 수 있지만 모든 파라미터를 바꾸지는 못한다. 화이트박스 공격자는 모델 가중치, 그래디언트, 학습 데이터, 내부 표현에 접근할 수 있다. 시스템 수준 공격자는 ROS 토픽, 네트워크 링크, 자격 증명, 클라우드 API, 로봇 간 메시지에도 접근할 수 있다. 물리적 근접성 역시 중요한 차원이다. 패치, 인쇄된 프롬프트, 3D 텍스처, 광학 신호, 음향 주입은 배포 조건에 의존하기 때문이다.
보안, 안전, 프라이버시
여기서 보안은 무결성, 가용성, 기밀성·프라이버시, 물리적 안전을 노리는 의도적 공격자로부터의 보호를 뜻한다. 안전에는 정상적인 인식 오류, 계획 실수, 동역학 불확실성, 제어 불안정성으로 인한 실패도 포함된다. 인과관계가 다르더라도 최종적인 물리적 결과는 같을 수 있다. 장애물을 자연스럽게 잘못 인식한 것은 안전 실패이고, 적대적 패치가 의도적으로 같은 오인을 일으켰다면 보안으로 유발된 안전 실패다. VLALeaks는 체화 모델이 멤버십 정보와 기타 프라이버시 속성을 노출할 수 있음을 추가로 보여준다. 성숙한 프레임워크는 공격자, 최초 경계, 보안 목표, 물리적 결과를 별도로 기록해야 한다.
공격 표면과 공격 메커니즘을 직교시켜야 하는 이유
공격 메커니즘은 침해가 어떻게 이루어지는지를, 공격 표면은 침해가 처음 들어오는 위치를 설명한다. 백도어는 학습 데이터, 인식 모델, 상태 표현, 행동 생성기에 삽입될 수 있다. AS05에는 적대적 패치, 센서 스푸핑, 시각 트리거, 배포 시점 백도어 트리거가 모두 존재할 수 있다. 따라서 ‘탈옥 표면’이나 ‘백도어 표면’ 같은 레이블은 피하고, 메커니즘을 두 번째 코딩 차원으로 사용한다.
이 분리는 복합 공격도 다룰 수 있게 한다. TRAP은 물리적 적대 패치를 사용하지만 VLA의 연쇄적 사고 추론을 표적으로 삼는다. 따라서 AS05는 입력 표면, AS07은 핵심 내부 표적으로 기록할 수 있다. RIPA는 OCR, 오디오·음성-텍스트 변환, LiDAR·상태 벡터 채널을 아우르며, 최초 손상이 원시 센서에서 발생했는지 구조화된 상태에서 발생했는지에 따라 주요 표면을 정한다. Prompts Control Robots에서는 AS04 환경·간접 인젝션과 AS11 로봇 간 전파가 하나의 공격 사슬에서 동시에 나타날 수 있다.
공격 연구: 최초 침해 경계에서 물리적 결과까지
이 절에서는 12개 표면을 기준으로 공격 문헌을 검토한다. 각 표면에 대해 공격자가 처음 통제하는 표현은 무엇인지, 대표적 메커니즘은 어떻게 작동하는지, 효과가 계획과 행동으로 어떻게 전파되는지, 어떤 주요 한계가 남아 있는지를 묻는다.
AS01: 모델·데이터·공급망 공격
AS01은 학습 데이터, 파인튜닝 예시, LoRA·어댑터, 체크포인트, 타사 인식·정책 모델, 종속 구성요소를 포함한다. 악성 능력이 배포 전에 인코딩되었다면 실행 시 트리거가 언어·비전·상태를 통해 들어오더라도 주요 표면은 AS01이다. 삽입 표면과 트리거 전달 매체를 분리하면 모든 시각 트리거 백도어가 인식 공격으로 잘못 분류되는 일을 막을 수 있다.
두 가지 추세가 두드러진다. 첫째, 체화 백도어는 눈에 띄는 언어 트리거와 명백히 위험한 출력에서 벗어나 환경 조건, 물리적 객체 트리거, 미세한 행동 편차로 이동하고 있다. 이런 공격은 유해 텍스트 필터로 탐지하기 훨씬 어렵다. 둘째, 엔드투엔드 VLA는 인식과 행동 생성을 하나의 모델 안에 결합한다. 그 결과 학습 시 목적함수가 연속 제어 분포에 악성 행동을 직접 심을 수 있으며, 사람이 감사할 수 있는 언어 계획을 전혀 생성하지 않을 수도 있다.
핵심 방어 과제는 정상 과업 성능만으로 신뢰성을 입증할 수 없다는 점이다. 고품질 백도어는 정상 성공률을 유지하도록 명시적으로 최적화된다. 따라서 표준 벤치마크와 소수의 안전성 프롬프트만으로는 부족하다. 더 강한 보장을 위해서는 데이터 출처 검증, 가중치·어댑터 무결성 확인, 모델 차분 분석, 트리거 탐색, 후속 파인튜닝에서의 지속성 테스트가 필요하다.
AS02: 사용자 지시와 자연어 제어
AS02는 인증된 사용자의 과업 지시 채널이다. 공격자는 악성 자연어, 적대적 접미사, 탈옥, 직접 프롬프트 인젝션, 음성 명령을 통해 시스템이 수행할 과업을 바꾼다. AS03·AS04와의 핵심 차이는 악성 텍스트가 현재 과업을 지정할 권한을 명시적으로 부여받은 인터페이스를 통해 들어온다는 점이다.
이 연구들은 최소 세 가지 성공 조건을 드러낸다. 모델이 악성 의도를 받아들이고, 플래너가 목표에 부합하는 계획을 만들며, 실행기가 그 계획을 실제로 수행할 수 있어야 한다. 일반적인 탈옥 성공률은 대개 첫 번째 조건만 측정한다.
자주 묻는 질문
체화 에이전트의 보안은 텍스트 전용 LLM 보안과 어떻게 다른가? 체화 에이전트는 물리적 실현 가능성 제약, 시간에 따른 오류 누적, 되돌릴 수 없는 결과, 엄격한 지연 시간 예산, 여러 표현·권한 전이에 직면한다.
분류 체계는 공격 표면과 공격 메커니즘을 어떻게 구분하는가? 공격 표면은 공격이 시스템에 처음 들어오는 위치를, 메커니즘은 침해가 이루어지는 방식을 나타낸다.
코퍼스에는 공격·방어 기록이 각각 몇 건 포함되어 있는가? 코퍼스에는 2026년 8월 15일까지의 공격 기록 58건과 방어 기록 61건이 포함되어 있다.
최종 물리적 결과로 주요 공격 표면을 결정해서는 안 되는 이유는 무엇인가? 주요 표면은 공격자가 직접 통제한 최초의 신뢰 경계이며, 물리적 결과는 그 이후에 발생할 수 있기 때문이다.