클라우드플레어, AI 크롤러 콘텐츠 수집 ‘기본 차단’ 선언

클라우드플레어가 웹사이트 콘텐츠의 무단 수집을 방지하기 위해 AI 크롤러를 기본 설정으로 차단하는 조치를 2일부터 시행했다. 이에 따라 AI 기업은 웹사이트에서 텍스트, 이미지 등 콘텐츠를 수집하기 전 명시적 허가를 받아야 하며 크롤링 목적도 명확히 공개해야 한다.

기존 웹 구조는 검색 엔진이 콘텐츠를 색인화하고 원본 사이트로 트래픽을 유도하며 창작자는 수익과 영향력을 얻는 순환 모델이었다. 그러나 AI 크롤러는 원 콘텐츠를 가져와 자체적으로 답변을 생성하고 원 출처로의 유입 없이 정보를 소비하게 만드는 방식으로 작동하고 있다. 이로 인해 콘텐츠 제작자에게 돌아가는 보상이 사라지고 인터넷 생태계의 지속 가능성에 대한 우려가 커지고 있다.

클라우드플레어는 이러한 흐름 속에서 창작자에게 콘텐츠 활용에 대한 실질적 통제권을 부여하고 AI 기업에게는 투명한 크롤링 책임을 요구하는 방향으로 정책을 전환했다. 새로 가입하는 모든 도메인은 기본적으로 AI 크롤러 접근을 차단하도록 설정되며 사용자는 필요 시 별도 허용 설정을 할 수 있다.

매튜 프린스 클라우드플레어 CEO는 “인터넷의 지속 가능성을 위해서는 창작자, 소비자, AI 개발자 모두가 공정한 권리를 갖는 생태계가 필요하다”며 “AI 시대에 원본 콘텐츠에 대한 통제가 더욱 중요해지고 있다”고 밝혔다.

이번 조치는 AP통신, 버즈피드, 콘데 나스트, 포춘, 유니버설뮤직그룹, 핀터레스트, 레딧 등 주요 글로벌 미디어·콘텐츠 기업들의 지지를 받고 있다. 핀터레스트와 레딧의 CEO 또한 크롤링의 투명성과 제어 권한의 필요성을 강조하며 클라우드플레어의 정책을 지지했다.

한편, 클라우드플레어는 전 세계 트래픽의 20%를 처리하는 대규모 네트워크 운영 기업으로 AI 크롤러와 사람을 구별할 수 있는 봇 관리 기술을 보유하고 있다. 2024년 9월부터 AI 크롤러 차단 기능을 제공해왔으며 현재 100만 개 이상의 도메인이 해당 기능을 사용 중이다.

향후 클라우드플레어는 AI 크롤러 식별을 위한 새로운 인증 프로토콜 개발에도 참여하며 웹사이트가 크롤러의 신원을 식별하고 접근을 허용할 수 있는 투명한 인프라 구축을 추진할 계획이다.

헬로티 구서경 기자 |