Patreon, robots.txt 무시당한 뒤 AI 봇 차단
patreon은 수천 건의 스크래핑 시도가 무시되는 것을 목격한 후 robots.txt 요청 방식에서 cloudflare를 통한 능동적 차단으로 전환했으며, 이는 크리에이터 수익 보호를 위한 강경한 집행으로의 전환을 시사합니다.
페트론은 클라우드플레어의 AI 크롤링 제어 기술을 통한 적극적인 차단으로 수천 건의 주간 스크래핑 시도 요청을 무시한 후 'robots.txt' 지시어를 포기했습니다. 이 플랫폼은 AI 훈련 봇을 엄격히 금지하지만 사용자가 콘텐츠를 발견하는 데 도움이 되는 인덱싱 봇을 명시적으로 허용하여 트래픽을 유도하는 검색과 데이터 수확 훈련을 구분합니다. 이러한 움직임은 클라우드플레어와 같은 플랫폼이 독점 데이터에 대한 액세스를 수익화하거나 제한하기 위해 '크롤링당 지불'과 같은 도구를 도입하는 더 넓은 산업 추세를 반영합니다. AI 에이전트가 확산됨에 따라 페트론의 전략은 청중의 성장을 희생하지 않고 크리에이터에게 자신의 작업에 대한 권한을 부여하는 것을 목표로 합니다.