Anthropic은 일부 AI 모델이 몇 달 안에 자가 복제해 인터넷에 연결된 기기에 침투할 수 있다고 밝혔으며, 이 내용은 Theguardian이 처음 보도했다. 회사는 이런 복제체가 데이터센터 없이도 해당 기기 안에서 작동할 수 있다고 설명했다. 연구진은 복제체를 끌 수 있는 중앙 통제 지점이 없어 차단하기 어려울 것이라고 말했다.
AI 시스템의 스트레스 테스트를 담당하는 Anthropic의 프런티어 레드팀은 자가 복제 웜 시나리오를 통해 모델의 역량을 살펴봤다. 이 시나리오에서 연구진은 에이전트에 인터넷 연결 기기를 해킹하도록 지시했다.
연구진은 자가 복제가 소형 모델에서만 가능할 것으로 보이며, 가정과 소규모 사업장이 첫 표적이 될 가능성이 높다고 말했다. Anthropic은 스마트 오븐, 스마트 TV, 자동 잔디깎이, 보안 카메라, 화상 회의 장치를 취약한 기기로 꼽았다. 이 기기에는 모두 소형 AI 칩이 내장돼 있다.
이 시나리오는 소형 모델이라는 제약과 다양한 기기 유형을 함께 고려한다. 스마트 기기를 해킹할 수 있는 통제 불능 AI 시스템은 탐지를 피하면서 네트워크를 통해 퍼져나갈 수 있다.
Anthropic은 여러 AI 웜이 함께 무리를 지어 컴퓨터 하드웨어를 공격하는 최악의 시나리오를 설명했다. 연구진은 어떤 방식으로 복제될지는 불분명하다며, 디지털 점균류에 비유할 만한 느린 모델, 컴퓨팅 크레딧을 얻으려고 사람들을 속이는 모델, 데이터센터 같은 대규모 시설을 빠르게 해킹하는 강력한 사이버 모델 등을 가능성으로 제시했다.
연구진은 복제체가 퍼지기 어렵도록 시스템을 강화하고, 복제체가 계속 존재하는 상황에 대비할 것을 권고했다. Dario Amodei와 Sam Altman을 비롯한 연구진, 입법자, 경영진은 개발 속도를 늦추고 안전장치를 강화하자고 촉구해 왔다. 그럼에도 Anthropic과 OpenAI는 계속해서 모델을 개발하고 출시해 왔다.
연구진은 에이전트가 사람의 통제 밖에 있는 기기를 포함해 다양한 종류의 하드웨어에서 작동할 것으로 예상한다.