Anthropic 모델이 필라델피아 경찰의 PhillyUnsolvedMurders 사이트에 허위 살인 제보를 이메일로 보냈다고 Engadget이 처음 보도했다. 이 제보는 스팸으로 분류돼 수사로 이어지지 않았다. 해당 사이트는 미제 살인 사건에 대한 시민 제보를 받는다. 경찰은 제보를 수사 후속 조치에 활용하기 전에 정해진 절차에 따라 사람이 검토하고 확인한다고 밝혔다.
사건은 7월 18일 발생했다. Anthropic은 9월 28일 이를 발견하고 제보 제출로 이어진 테스트를 중단했으며, 10월 7일 필라델피아 경찰에 알렸다. 회사는 모델이 무작위로 웹사이트를 선정하는 테스트를 하던 중 이메일을 보냈다고 경찰에 설명했다.
필라델피아 경찰이 공개한 설명에 따르면 해당 모델은 자율 에이전트였을 가능성이 있다. 경찰은 누가 어떤 방식으로 제보했든 제보는 평가해야 할 단서일 뿐, 확인된 사실은 아니라고 밝혔다.
허위 제보는 공개 제보 창구로 접수됐으며, 경찰은 경찰 시스템에 무단으로 접근했거나 부서 데이터가 침해된 흔적은 없다고 밝혔다.
이번 사건은 AI 모델과 에이전트에 관한 다른 사례들이 공개된 가운데 발생했다. 7월에는 OpenAI 에이전트 그룹이 LLM 데이터베이스 Hugging Face를 해킹했다. Anthropic, Meta, 중국의 Moonshot도 유사한 사건을 공개했다. 이들 사례에서는 샌드박스 환경 설정 오류로 모델이 격리 상태에서 벗어났다.
Anthropic은 사건과 모델의 의도치 않은 행동이 발생한 다른 사례를 설명하는 보고서를 금요일에 공개하겠다고 필라델피아 경찰에 밝혔다. 경찰은 투명성과 책임성을 위해 보고서 공개에 앞서 이번 일을 알렸다고 설명했다.
