출판사들, 컨텐츠 보호를 위해 AI 봇 차단

뉴스 출판사들은 계속해서 AI 봇들과 싸우고 있으며, 기술 회사를 고소하고, 스크래핑이 저널리즘, 공정한 보상 시스템, 그리고 개방형 웹의 미래에 위험을 초래한다는 것을 경고하고 있습니다.

The Wall Street Journal (WSJ)이라는 새 보고서에서 뉴스 출판사들이 보상 없이 그들의 웹사이트에서 컨텐츠를 스크래핑하는 AI 회사들에 대해 반격하고 있다고 전했습니다. ChatGPT와 Google의 Gemini와 같은 AI 도구들이 성장함에 따라 많은 미디어 회사들이 그들의 작업을 허락 없이 사용하는 봇들을 차단하려고 노력하고 있습니다.

“당신은 사이트를 읽는 것이 봇이 아닌 사람들을 원하며, 특히 당신에게 아무런 가치도 반환하지 않는 봇들을 원하지 않습니다.”라고 The Atlantic의 CEO인 니콜라스 톰슨이 말했습니다. 이 회사는 OpenAI와 라이센스 계약을 맺었지만, WSJ에 보도된 바와 같이 다른 AI 회사를 차단할 계획입니다.

이와 같은 전략은 “스크래핑”이라고 알려져 있으며, 구글 초기 시절부터 존재했습니다. 그 당시에는 검색 엔진이 발행자의 웹사이트로 트래픽을 유도했습니다. 이제, AI 챗봇은 뉴스 요약을 가능하게 하여 독자들이 원래의 출처를 방문하는 것을 방해합니다. 봇이 주도하는 트래픽 감소와 광고 수익 감소의 결합은 수많은 발행자들에게 공통적인 문제가 되었습니다.

반격하기 위해, 출판사들은 최근에 AI 봇이 콘텐츠에 접근할 수 있는지를 제어할 수 있는 도구를 출시한 Cloudflare와 같은 기술 회사들에게 의지하고 있습니다. Dotdash Meredith의 CEO인 Neil Vogel은 자신의 회사가 OpenAI에게 콘텐츠를 라이선스하는 한편, “지적 재산을 창조하는 사람들이 보호받아야 합니다. 그렇지 않으면 더 이상 누구도 지적 재산을 만들지 않을 것”이라고 WSJ에 보도되었습니다.

Reddit과 iFixit와 같은 몇몇 회사들은 법적 조치를 취했습니다. Reddit은 중단 요청에도 불구하고 10만 번 이상 스크래핑한 AI 회사 Anthropic를 고소했습니다. iFixit는 Anthropic가 단 하루에 서버를 100만 번 공격했다고 밝혔습니다.

이 분쟁은 법정에서도 진행 중입니다. 뉴욕 타임스는 마이크로소프트와 OpenAI를 상대로 소송을 제기했으며, News Corp와 그 자회사들은 Perplexity에 맞서고 있습니다. BBC도 또한 법적 조치를 위협하였습니다. AI 스타트업인 Perplexity를 그들의 디폴트 모델을 훈련시키기 위해 BBC의 콘텐츠를 스크래핑하는 것으로 비난했습니다.

한편, 일부에서는 WSJ가 지적한 것처럼, 엄격해진 anti-scraping 규칙이 학문 연구와 같은 합법적인 사용을 차단할 수 있다는 우려를 표현하고 있습니다.

Data Provenance Initiative의 Shayne Longpre가 경고했듯이, “웹이 가장 높은 입찰자에게 분할되고 있습니다. 이것은 시장 집중력과 개방성에 매우 안 좋습니다.” 라는 말은 WSJ에 보도되었습니다.