‘Pay Per Crawl’을 통해 AI 봇에게 요금을 부과할 수 있게 하는 Cloudflare

Cloudflare는 출판사들에게 새로운 선택권을 제공하고 있습니다: 부활한 HTTP 402 결제 시스템을 사용하여 AI 봇에게 그들의 사이트를 크롤링하도록 요금을 부과하는 것입니다.

이 새로운 “Pay Per Crawl” 시스템을 통해 웹사이트 소유자들은 AI 봇이 그들의 콘텐츠에 접근하는 것에 대해 요금을 부과할 수 있습니다. 이 시스템은 출판사들에게 현재 AI 데이터 스크래핑을 허용하거나, AI 접근을 완전히 차단하는 두가지 옵션 정책에서 다른 대안적인 접근법을 제공합니다.

“현재 많은 출판사, 콘텐츠 제작자, 웹사이트 소유주들은 이진 선택을 해야 한다고 느끼고 있습니다 — 인공지능이 그들이 만든 모든 것을 소비할 수 있도록 전면 문을 열어 두거나, 자신만의 독자적인 공간을 만드는 것,”이라고 Cloudflare는 말했습니다. “그런데 다른 방법이 있다면 어떨까요?”

Pay Per Crawl을 통해, 이제 콘텐츠 제작자들은 누가 어느 가격으로 접근할 수 있는지 결정할 수 있습니다. 그들은 일부 AI 크롤러에게는 무료로, 다른 크롤러에게는 전혀 접근하지 못하도록 할 수 있으며, 또는 접근 비용을 부과할 수 있습니다. “우리는 콘텐츠 제작자들이 자신의 작품에 대한 접근 권한을 통제할 수 있도록 하고 싶었습니다,”라고 Cloudflare는 말했습니다. “제작자들이 운전석에 앉아야 합니다.”

이번 조치는 AI 회사들이 웹 콘텐츠를 동의 없이 사용하는 것에 대한 반발이 커지는 가운데 이루어졌습니다. 예를 들어, YouTube는 Google이 창작자에게 통보 없이 동영상을 크롤링하는 것을 허용한 것에 대해 비판을 받았습니다. 더욱이, Google의 AI Overviews 기능은 HuffPost와 워싱턴 포스트와 같은 뉴스 사이트로의 트래픽을 50% 이상 감소시켰습니다.

“Google은 단지 콘텐츠를 강제로 가져가서 아무런 보상도 없이 이용한다. 이것이 바로 도둑질의 정의다.”라고 뉴스/미디어 얼라이언스의 회장인 다니엘 코피가 말했습니다.

이 도구는 오래된 웹 기능인 HTTP 응답 코드 402를 사용합니다. 이 코드는 “결제 필요”를 의미합니다. AI 봇이 페이지에 접근하려고 하면, 서버는 이제 402를 답변으로 제공하고 가격 태그를 포함할 수 있습니다. 봇이 지불에 동의하면, 서버는 콘텐츠를 전달합니다.

Cloudflare는 기술 인프라를 제공하고 결제를 처리합니다. 출판사는 크롤 요청 당 고정 가격을 설정하고, 다른 봇에 대해서는 다른 규칙을 적용할 수도 있습니다. 봇이 Cloudflare에 등록되지 않았더라도 여전히 “과금” 될 수 있습니다 – 본질적으로 접근을 차단하지만, 미래의 거래를 위한 여지를 남겨둡니다.

이 시스템은 미래에 더 유연한 라이선싱 및 동적 가격 책정을 가능하게 할 수 있습니다. Cloudflare의 말처럼: “창작자들에게 그들의 디지털 자산을 평가하고 제어하는 강력하고 프로그래밍 가능한 메커니즘을 제공함으로써, 우리는 그들이 인터넷을 소중하게 만드는 풍성하고 다양한 컨텐츠를 계속 창작하도록 힘을 실어줍니다.”