OpenAI, Google, Microsoft, Anthropic은 공통 게시자 신호가 적용된 사이트에서 AI 크롤러의 접근을 제한하겠다고 밝혔습니다. 이 내용은 The Verge가 처음 보도했습니다. 이 신호를 사용하면 게시자는 AI 기업이 자사 사이트를 학습에 활용할 수 있는지 한곳에서 설정할 수 있습니다. 현재 업체별로 따로 관리해야 하는 설정을 대체하는 방식입니다.
제안된 ‘정책 토큰’은 웹사이트의 robots.txt 파일에 기록됩니다. robots.txt는 검색 색인 생성, 보관 또는 AI 학습을 위해 웹 크롤러가 사이트를 수집해도 되는지 알려주는 데 오랫동안 사용돼 왔습니다. Anthropic의 표준 기술 책임자 Kevin Kelley는 Internet Engineering Task Force (IETF)의 일환으로 이 신호를 제안했습니다.
현재 게시자는 AI 학습에 대한 선호 설정을 각 기업에 별도로 알려야 합니다. 네 업체는 공통 토큰을 확인하면 AI 크롤러가 해당 사이트에 접근하지 못하도록 제한하겠다고 밝혔습니다. 이로써 여러 설정을 하나의 신호로 통합할 수 있습니다.
이번 제안은 AI 크롤러가 게시자 사이트에서 콘텐츠를 수집해 모델에 입력하는 일이 계속 늘어나는 가운데 나왔습니다. 다른 대응책으로는 사이트를 방문하는 크롤러에 요금을 부과할 수 있도록 하는 Really Simple Licensing (RSL) 표준과 Cloudflare의 AI 크롤러 기본 차단이 있습니다.
Microsoft는 AI 학습 또는 AI 그라운딩을 거부할 수 있는 세분화된 설정을 제공하겠다고 밝혔습니다. AI 그라운딩은 환각을 줄이기 위해 AI 모델이 검증된 출처를 참고하도록 하는 과정입니다. Microsoft는 이러한 설정과 관계없이 웹사이트가 Bing 검색 결과에 계속 표시된다고 밝혔습니다. Google도 검색 노출에 영향을 주지 않는 AI 검색 기능 및 학습 관련 설정을 제공합니다. 이들 사례는 사이트의 AI 활용 선호 설정과 검색 결과 노출 여부가 별개임을 보여줍니다.
Meta의 커뮤니케이션 책임자 Andy Stone도 공통 설정을 지지한다고 밝혔지만, Meta가 이를 따를지는 언급하지 않았습니다. Anthropic은 이미 해당 신호를 도입했으며, Google과 Microsoft는 내년에 지원할 계획입니다. OpenAI는 앞으로 몇 달 안에 이를 구현하겠다고 밝혔습니다.