Cloudflare가 AI 에이전트를 차단하는 이유
cloudflare가 9월 15일부터 AI 에이전트 크롤러를 기본적으로 차단하기 시작했습니다. 이로 인해 개발자들은 접근 권한을 협상해야 하며, 에이전트 구축 비용이 상승할 수 있습니다.
cloudflare started blocking ai agent crawlers by default on september 15. the policy affects any bot attempting to fetch pages in real-time for a user, requiring operators to negotiate access rights with site owners. this creates a new barrier for ai labs building agents that rely on live web access, distinguishing them from passive training crawlers. the move signals a shift where web infrastructure companies act as gatekeepers for ai data flows.